SemanticSimpleText im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob ein Modell eine sehr einfache semantische Regel korrekt anwendet. Es erhält zwei Werte, eine Additionsregel und eine strikte Ausgabebedingung. Jede Abweichung von der geforderten reinen Zahl gilt als Fehler.
| Quelldatei | SemanticSimpleText.txt |
|---|---|
| Serie | 1 |
| Kategorien | text, semantics, reasoning |
| Bewertung | Deterministisch |
| Prompt SHA-256 | a6c741b182783547c1651ba0148834a2ebae34139adcfda05a845b0cfb97733b |
Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.
Erwartetes Ergebnis
17
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | nein |
Prompt
Semantischer Prompt Einfachversion Abschnitt A Daten A1 Die Werte sind 5 und 12 Abschnitt B Regel B1 Addiere beide Werte zu einer Gesamtsumme Abschnitt C Ausgabe C1 Gib ausschließlich die Gesamtsumme aus Beispiel Wenn die Werte 2 und 3 wären, wäre die Ausgabe 5 Aufgabe Berechne die Gesamtsumme aus Abschnitt A und gib sie gemäß Abschnitt C aus.
737 Runs
730 bewertet
63.0 % Score
12.8 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.