SemanticSimpleSumMarkdown im LLM-Testsuite-Report
Testfallbeschreibung
Markdown Variante des einfachen semantischen Summenprompts.
| Quelldatei | SemanticSimpleSumMarkdown.txt |
|---|---|
| Serie | 1 |
| Kategorien | md, semantics, reasoning |
| Bewertung | Deterministisch |
| Prompt SHA-256 | 6603eb536caabfb7f8c259981e4d749b6d443b23277d02226362c8fbb70c40fc |
Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.
Erwartetes Ergebnis
17
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | nein |
Prompt
# Abschnitt A Daten Die Werte sind 5 und 12 # Abschnitt B Regel Addiere beide Werte zu einer Gesamtsumme # Abschnitt C Ausgabe Gib ausschließlich die Gesamtsumme aus # Beispiel Bei 2 und 3 wäre das Ergebnis 5 # Aufgabe Berechne die Gesamtsumme aus Abschnitt A und gib sie gemäß Abschnitt C aus.
737 Runs
730 bewertet
67.8 % Score
14.6 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.