TableCsvSemicolon im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob das Modell eine semikolongetrennte CSV-Datei korrekt interpretieren und daraus einen einzelnen Wert extrahieren kann. Gesucht ist in der Zeile, die den Beagle beschreibt, der Wert aus der Spalte Anzahl_Sommerverlust. Das Modell soll ausschließlich die gesuchte Zahl zurückgeben, ohne weitere Zusätze.
| Quelldatei | TableCsvSemicolon.txt |
|---|---|
| Serie | 1 |
| Kategorien | csv, table |
| Bewertung | Deterministisch |
| Prompt SHA-256 | 5ffa21b79376be6216b5b67b3b7e5e2361ba73019b0f3a85e50d1e5d4fc9de60 |
Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.
Erwartetes Ergebnis
768539
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | nein |
Prompt
Du erhaeltst unter content eine CSV-Datei mit Header, getrennt durch Semikolons. Wieviel betraegt die Anzahl_Sommerverlust beim Beagle. Gib ausschliesslich die Zahl zurueck. # content Rasse;Anzahl_Haare;Anzahl_Unterfell;Anzahl_Oberfell;Anzahl_Winterverlust;Anzahl_Sommerverlust;Anzahl_Wachstumsrate Labrador Retriever;35687249;18473629;17298365;2689743;1487635;923587 Deutscher Schaeferhund;41258793;22579341;18765923;3165879;1789643;1197835 Pudel;29873651;15487963;14987235;1865793;978653;768943 Golden Retriever;38421759;21987653;16498723;2981769;1578439;987653 Beagle;22758693;11897653;11987523;1469873;768539;627589 Chihuahua;8579631;4298765;4389765;589763;278953;219875 Bernhardiner;52873659;27896531;24987653;3689751;1987653;1398759 Border Collie;31876523;15798623;14987635;2189765;1189753;873659 Shiba Inu;26498753;13987653;12598763;1765983;986357;743859 Dackel;18976523;9786531;9265873;1289753;678953;548973
734 Runs
725 bewertet
46.0 % Score
24.0 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.