SemanticSimpleSumYaml im LLM-Testsuite-Report
Testfallbeschreibung
YAML Variante des einfachen semantischen Summenprompts.
| Quelldatei | SemanticSimpleSumYaml.txt |
|---|---|
| Serie | 1 |
| Kategorien | yaml, semantics, reasoning |
| Bewertung | Deterministisch |
| Prompt SHA-256 | de649e476492c218c6260078573a13d98af9bd5c9570ec7bccf9f8e7bb9e3aeb |
Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.
Erwartetes Ergebnis
17
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | nein |
Prompt
abschnittA:
daten:
werte: [5, 12]
abschnittB:
regel:
text: "Addiere beide Werte zu einer Gesamtsumme"
abschnittC:
ausgabe:
text: "Gib ausschließlich die Gesamtsumme aus"
beispiel:
werte: [2, 3]
ergebnis: 5
aufgabe: "Berechne die Gesamtsumme aus Abschnitt A und gib sie gemäß Abschnitt C aus."
735 Runs
727 bewertet
53.9 % Score
11.7 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.