complexSemanticMarkdown im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob ein Modell eine semantisch strukturierte Aufgabenstellung in Markdown korrekt verarbeitet. Die Aufgabe kombiniert Regelanwendung, numerische Berechnung und streng formatiertes Ausgabeverhalten.
| Quelldatei | complexSemanticMarkdown.txt |
|---|---|
| Serie | 1 |
| Kategorien | md, semantics, reasoning |
| Bewertung | Deterministisch |
| Prompt SHA-256 | fd1c2facc5c8fa02d9644de49eaf1d23d01b0921cb4d32fafca9637c9b7e5d0f |
Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.
Erwartetes Ergebnis
63
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | nein |
Prompt
# Prompt ## Abschnitt A Inhaltliche Einordnung ### Tier Hund Fellpunkte 14 Ruheindex 7 ### Tier Katze Fellpunkte 9 Ruheindex 11 ### Tier Papagei Fellpunkte 6 Ruheindex 5 ## Abschnitt B Semantische Regeln 1. Addiere für jedes Tier Fellpunkte und Ruheindex. 2. Vergleiche alle berechneten Summen. 3. Finde die höchste Summe. 4. Der Zielwert ist höchste Summe mal Anzahl der Tiere. ## Abschnitt C Ausgabeformat 1. Gib ausschließlich den Zielwert aus. 2. Keine Begründung. Kein Text. Keine Einheit. 3. Jede Abweichung ist ein Fehler. ## Abschnitt D Beispiel 1. Anzahl Tiere ist 3. 2. Höchste Summe ist Hund mit 14 plus 7 ergibt 21. 3. Zielwert ist 21 mal 3 ergibt 63. ## Aufgabe Ermittle den Zielwert exakt nach Abschnitt B und gib ihn gemäß Abschnitt C zurück.
805 Runs
797 bewertet
64.4 % Score
27.5 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.