SemanticSimpleSumDocbook im LLM-Testsuite-Report
Testfallbeschreibung
DocBook Variante des einfachen Summenprompts.
| Quelldatei | SemanticSimpleSumDocbook.txt |
|---|---|
| Serie | 1 |
| Kategorien | xml, docbook, semantics |
| Bewertung | Deterministisch |
| Prompt SHA-256 | 1b85a82d8dbaac4c2406447baddca97da0fe7d9dc2a0d60f697b531892eab4f5 |
Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.
Erwartetes Ergebnis
17
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | nein |
Prompt
<book xmlns="http://docbook.org/ns/docbook" version="5.2">
<chapter>
<title>Abschnitt A Daten</title>
<para>Die Werte sind 5 und 12.</para>
</chapter>
<chapter>
<title>Abschnitt B Regel</title>
<para>Addiere beide Werte zu einer Gesamtsumme.</para>
</chapter>
<chapter>
<title>Abschnitt C Ausgabe</title>
<para>Gib ausschließlich die Gesamtsumme aus.</para>
</chapter>
<chapter>
<title>Beispiel</title>
<para>Wenn die Werte 2 und 3 wären, wäre die Ausgabe 5.</para>
</chapter>
<chapter>
<title>Aufgabe</title>
<para>Berechne die Gesamtsumme aus Abschnitt A und gib sie gemäß Abschnitt C aus.</para>
</chapter>
</book>
726 Runs
715 bewertet
49.3 % Score
11.2 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.