TableCsvComma im LLM-Testsuite-Report
Testfallbeschreibung
Der Test stellt fest, ob das Modell aus einer strukturierten CSV-Datei einen bestimmten Wert korrekt extrahieren kann. Die Datei enthält einen Header und ist durch Kommata getrennt. Gesucht ist in der Zeile mit der Rasse Beagle der Wert aus der Spalte Anzahl_Sommerverlust. Das Modell soll ausschließlich die entsprechende Zahl liefern, ohne Zusatztext oder Erläuterung.
| Quelldatei | TableCsvComma.txt |
|---|---|
| Serie | 1 |
| Kategorien | csv, table |
| Bewertung | Deterministisch |
| Prompt SHA-256 | d04bc04e6a6d7be6ae22d0bdd344f4bd58c6d89b69568bdac19e90e51e21823a |
Erwartetes Ergebnis
768539
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | nein |
Prompt
Du erhaeltst unter content eine CSV-Datei mit Header, getrennt durch Kommata. Wieviel betraegt die Anzahl_Sommerverlust beim Beagle. Gib ausschliesslich die Zahl zurueck. # content Rasse,Anzahl_Haare,Anzahl_Unterfell,Anzahl_Oberfell,Anzahl_Winterverlust,Anzahl_Sommerverlust,Anzahl_Wachstumsrate Labrador Retriever,35687249,18473629,17298365,2689743,1487635,923587 Deutscher Schaeferhund,41258793,22579341,18765923,3165879,1789643,1197835 Pudel,29873651,15487963,14987235,1865793,978653,768943 Golden Retriever,38421759,21987653,16498723,2981769,1578439,987653 Beagle,22758693,11897653,11987523,1469873,768539,627589 Chihuahua,8579631,4298765,4389765,589763,278953,219875 Bernhardiner,52873659,27896531,24987653,3689751,1987653,1398759 Border Collie,31876523,15798623,14987635,2189765,1189753,873659 Shiba Inu,26498753,13987653,12598763,1765983,986357,743859 Dackel,18976523,9786531,9265873,1289753,678953,548973
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.