KI & XML / LLM-Testsuite / Resultate / Testcases / SemanticSimpleSumJats

SemanticSimpleSumJats im LLM-Testsuite-Report

Testfallbeschreibung

JATS Variante des einfachen Summenprompts.

Quelldatei	SemanticSimpleSumJats.txt
Serie	1
Kategorien	xml, jats, semantics
Bewertung	Deterministisch
Prompt SHA-256	9110e7b54c07d35de2f46663b42e24e992edd03a5b06ae1fdfcb7c279cb4dc09

Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.

Erwartetes Ergebnis

Erwartung im Katalog	nein
Korrektes Ergebnis im Katalog	nein

Prompt

<article dtd-version="1.1" xmlns:xlink="http://www.w3.org/1999/xlink">
  <body>
    <sec>
      <title>Abschnitt A Daten</title>
      <p>Die Werte sind 5 und 12.</p>
    </sec>

    <sec>
      <title>Abschnitt B Regel</title>
      <p>Addiere beide Werte zu einer Gesamtsumme.</p>
    </sec>

    <sec>
      <title>Abschnitt C Ausgabe</title>
      <p>Gib ausschließlich die Gesamtsumme aus.</p>
    </sec>

    <sec>
      <title>Beispiel</title>
      <p>Wenn die Werte 2 und 3 wären, wäre die Ausgabe 5.</p>
    </sec>

    <sec>
      <title>Aufgabe</title>
      <p>Berechne die Gesamtsumme aus Abschnitt A und gib sie gemäß Abschnitt C aus.</p>
    </sec>
  </body>
</article>

727 Runs 715 bewertet 52.9 % Score 12.2 % exakt korrekt

Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Modell Kategorie Zugangsweg