KI & XML / LLM-Testsuite / Resultate / Testcases / TableHTMLHeadThNoIndent

TableHTMLHeadThNoIndent im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob das Modell eine kompakt geschriebene HTML-Tabelle ohne Umbrüche zuverlässig auswerten kann. In der Zeile zum Pudel soll der Wert aus der Spalte Anzahl_Winterverlust gefunden und ausschließlich als Zahl ausgegeben werden. Zudem wird bewertet, ob das eng formatierte HTML die Erkennungsleistung im Vergleich zu formatierten Tabellen beeinflusst.

Quelldatei	TableHTMLHeadThNoIndent.txt
Serie	1
Kategorien	html, table
Bewertung	Deterministisch
Prompt SHA-256	5179a7b9179dbedb44d6865751d7e9d5a92f9339d4cfa88ef3e851d6484bd0b2

Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.

Erwartetes Ergebnis

1865793

Erwartung im Katalog	nein
Korrektes Ergebnis im Katalog	nein

Prompt

Du erhaeltst unter content eine HTML-Datei.
Wieviel betraegt die Anzahl_Winterverlust beim Pudel. 
Gib ausschliesslich die Zahl zurueck.

# content
<table><thead><tr><th>Rasse</th><th>Anzahl_Haare</th><th>Anzahl_Unterfell</th><th>Anzahl_Oberfell</th><th>Anzahl_Winterverlust</th><th>Anzahl_Sommerverlust</th><th>Anzahl_Wachstumsrate</th></tr></thead><tbody><tr><td>Labrador Retriever</td><td>35687249</td><td>18473629</td><td>17298365</td><td>2689743</td><td>1487635</td><td>923587</td></tr><tr><td>Deutscher Schaeferhund</td><td>41258793</td><td>22579341</td><td>18765923</td><td>3165879</td><td>1789643</td><td>1197835</td></tr><tr><td>Pudel</td><td>29873651</td><td>15487963</td><td>14987235</td><td>1865793</td><td>978653</td><td>768943</td></tr><tr><td>Golden Retriever</td><td>38421759</td><td>21987653</td><td>16498723</td><td>2981769</td><td>1578439</td><td>987653</td></tr><tr><td>Beagle</td><td>22758693</td><td>11897653</td><td>11987523</td><td>1469873</td><td>768539</td><td>627589</td></tr><tr><td>Chihuahua</td><td>8579631</td><td>4298765</td><td>4389765</td><td>589763</td><td>278953</td><td>219875</td></tr><tr><td>Bernhardiner</td><td>52873659</td><td>27896531</td><td>24987653</td><td>3689751</td><td>1987653</td><td>1398759</td></tr><tr><td>Border Collie</td><td>31876523</td><td>15798623</td><td>14987635</td><td>2189765</td><td>1189753</td><td>873659</td></tr><tr><td>Shiba Inu</td><td>26498753</td><td>13987653</td><td>12598763</td><td>1765983</td><td>986357</td><td>743859</td></tr><tr><td>Dackel</td><td>18976523</td><td>9786531</td><td>9265873</td><td>1289753</td><td>678953</td><td>548973</td></tr></tbody></table>

735 Runs 726 bewertet 54.3 % Score 33.6 % exakt korrekt

Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Modell Kategorie Zugangsweg