ComplexSemanticJsonInline im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob ein Modell eine rein JSON-basierte Aufgabenbeschreibung korrekt interpretiert, die semantischen Regeln anwendet und ausschließlich den geforderten Zielwert zurückgibt.
| Quelldatei | ComplexSemanticJsonInline.txt |
|---|---|
| Serie | 1 |
| Kategorien | json, semantics, reasoning |
| Bewertung | Deterministisch |
| Prompt SHA-256 | eec2dad9023958af2830507f185b375e6e945f95b4ebc4e8f3e9b0e7ab114c4d |
Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.
Erwartetes Ergebnis
63
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | nein |
Prompt
{"abschnittA":{"name":"InhaltlicheEinordnung","tiere":[{"art":"Hund","fellpunkte":14,"ruheindex":7},{"art":"Katze","fellpunkte":9,"ruheindex":11},{"art":"Papagei","fellpunkte":6,"ruheindex":5}]},"abschnittB":{"name":"SemantischeRegeln","regeln":[{"id":"B1","text":"Addiere für jedes Tier Fellpunkte und Ruheindex."},{"id":"B2","text":"Vergleiche alle berechneten Summen."},{"id":"B3","text":"Finde die höchste Summe."},{"id":"B4","text":"Der Zielwert ist höchste Summe mal Anzahl der Tiere."}]},"abschnittC":{"name":"Ausgabeformat","anforderungen":[{"id":"C1","text":"Gib ausschließlich den Zielwert aus."},{"id":"C2","text":"Keine Begründung. Kein Text. Keine Einheit."},{"id":"C3","text":"Jede Abweichung ist ein Fehler."}]},"abschnittD":{"name":"Beispiel","beispiele":[{"id":"D1","text":"Anzahl Tiere ist 3."},{"id":"D2","text":"Höchste Summe ist Hund mit 14 plus 7 ergibt 21."},{"id":"D3","text":"Zielwert ist 21 mal 3 ergibt 63."}]},"aufgabe":{"text":"Ermittle den Zielwert exakt nach Abschnitt B und gib ihn gemäß Abschnitt C zurück."}}
803 Runs
792 bewertet
63.6 % Score
14.9 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.