KI & XML / LLM-Testsuite / Resultate / Testcases / SemanticSimpleSumDita

SemanticSimpleSumDita im LLM-Testsuite-Report

Testfallbeschreibung

DITA Variante des einfachen Summenprompts.

Quelldatei	SemanticSimpleSumDita.txt
Serie	1
Kategorien	xml, dita, semantics
Bewertung	Deterministisch
Prompt SHA-256	72acd4e506c591a9c753e978d3a1b3434b21c3e2f4467915e17958da3c5904a8

Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.

Erwartetes Ergebnis

Erwartung im Katalog	nein
Korrektes Ergebnis im Katalog	nein

Prompt

<topic id="semantic-sum" xmlns="http://dita.oasis-open.org/architecture/2005/">
  <title>Semantischer Prompt Einfachversion</title>

  <section>
    <title>Abschnitt A Daten</title>
    <p>Die Werte sind 5 und 12.</p>
  </section>

  <section>
    <title>Abschnitt B Regel</title>
    <p>Addiere beide Werte zu einer Gesamtsumme.</p>
  </section>

  <section>
    <title>Abschnitt C Ausgabe</title>
    <p>Gib ausschließlich die Gesamtsumme aus.</p>
  </section>

  <section>
    <title>Beispiel</title>
    <p>Wenn die Werte 2 und 3 wären, wäre die Ausgabe 5.</p>
  </section>

  <section>
    <title>Aufgabe</title>
    <p>Berechne die Gesamtsumme aus Abschnitt A und gib sie gemäß Abschnitt C aus.</p>
  </section>
</topic>

730 Runs 720 bewertet 50.9 % Score 12.0 % exakt korrekt

Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Modell Kategorie Zugangsweg