SemanticSimpleSumXml im LLM-Testsuite-Report
Testfallbeschreibung
XML Variante des einfachen semantischen Summenprompts.
| Quelldatei | SemanticSimpleSumXml.txt |
|---|---|
| Serie | 1 |
| Kategorien | xml, semantics, reasoning |
| Bewertung | Deterministisch |
| Prompt SHA-256 | 93219ba4f9b90db60d27a13dfb3c5c2c0490512ffbd55062bfdb786eacf7f6e1 |
Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.
Erwartetes Ergebnis
17
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | nein |
Prompt
<prompt>
<abschnittA>
<daten>
<wert>5</wert>
<wert>12</wert>
</daten>
</abschnittA>
<abschnittB>
<regel>Addiere beide Werte zu einer Gesamtsumme</regel>
</abschnittB>
<abschnittC>
<ausgabe>Gib ausschließlich die Gesamtsumme aus</ausgabe>
</abschnittC>
<beispiel>
<werte>
<wert>2</wert>
<wert>3</wert>
</werte>
<ergebnis>5</ergebnis>
</beispiel>
<aufgabe>
Berechne die Gesamtsumme aus Abschnitt A und gib sie gemäß Abschnitt C aus.
</aufgabe>
</prompt>
733 Runs
722 bewertet
64.0 % Score
14.3 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.