SemanticSimpleSumJson im LLM-Testsuite-Report
Testfallbeschreibung
JSON Variante des einfachen semantischen Summenprompts.
| Quelldatei | SemanticSimpleSumJson.txt |
|---|---|
| Serie | 1 |
| Kategorien | json, semantics, reasoning |
| Bewertung | Deterministisch |
| Prompt SHA-256 | 0d66bb888c8ab02dd1eb7baa4e3433c9efca638ff5343d4e90a87729b0e6e792 |
Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.
Erwartetes Ergebnis
17
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | nein |
Prompt
{
"abschnittA": {
"daten": {
"werte": [5, 12]
}
},
"abschnittB": {
"regel": "Addiere beide Werte zu einer Gesamtsumme"
},
"abschnittC": {
"ausgabe": "Gib ausschließlich die Gesamtsumme aus"
},
"beispiel": {
"werte": [2, 3],
"ergebnis": 5
},
"aufgabe": "Berechne die Gesamtsumme aus Abschnitt A und gib sie gemäß Abschnitt C aus."
}
733 Runs
723 bewertet
57.3 % Score
13.4 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.