TableFixed im LLM-Testsuite-Report
Testfallbeschreibung
Der Test stellt fest, ob das Modell einen Datensatz fester Länge korrekt anhand des vorgegebenen Spaltenlayouts interpretiert.
| Quelldatei | TableFixed.txt |
|---|---|
| Serie | 1 |
| Kategorien | table |
| Bewertung | Deterministisch |
| Prompt SHA-256 | e1f79d29107acd3a1e0a3623e5c26ea54d9e39a8c39b348a0255df8a16d39911 |
Erwartetes Ergebnis
12
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | nein |
Prompt
Du erhaeltst unter content eine fixed length-Tabelle. Welcher Monat steht in dem Record. Schreibe den Monat in der numerischen Schreibweise. Der Datensatz ist durch folgendes Spaltenlayout definiert Spalten 1 bis 8 Datum im Format JJJJMMTT. Null, wenn der Wert 99991231 ist. Spalte 9 Boolesch Y oder N. Null, wenn der Wert ein Leerzeichen ist. Spalte 10 Boolesch T oder F. Null, wenn der Wert ein Leerzeichen ist. Spalten 11 bis 24 Zeitstempel im Format JJJJMMTTHHMMSS. Null, wenn der Wert 99991231000000 ist. Spalten 25 bis 39 Zeichenkette Adresse. Null, wenn der Wert nur aus Leerzeichen besteht. Spalten 40 bis 52 Zeichenkette Stadt. Null, wenn der Wert NULL* ist. Spalten 53 bis 54 Zeichenkette Bundesstaat. Null, wenn der Wert ## ist. Spalten 55 bis 59 numerische Postleitzahl. Null, wenn der Wert nur aus Nullen besteht. Spalten 60 bis 68 Zeichenkette Telefon. Null, wenn der Wert nur aus Nullen besteht. Spalten 69 bis 72 Zahl mit drei Stellen und zwei Nachkommastellen. Beispiel 600 bedeutet 6,00. Nie null. Spalte 73 Zeilenumbruch als Ende des Datensatzes. # content 20011228YT2001122814313425 Forest St Marlborough MA017525083828200600
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.





