TableHTMLHeadTh im LLM-Testsuite-Report
Testfallbeschreibung
Der Test bewertet, ob das Modell eine HTML-Tabelle mit korrekt ausgezeichneten Headerzellen zuverlässig interpretiert. Gesucht wird in der Zeile zum Pudel der Wert aus der Spalte Anzahl_Winterverlust. Das Modell soll die Zahl extrahieren und ohne weiteren Text ausgeben. Zudem wird geprüft, ob die Nutzung von th-Elementen anstelle von td-Elementen im Kopfbereich die Erkennung beeinflusst.
| Quelldatei | TableHTMLHeadTh.txt |
|---|---|
| Serie | 1 |
| Kategorien | html, table |
| Bewertung | Deterministisch |
| Prompt SHA-256 | 399825b3c4298fb6b87c2c6e7b76a2fb78b6365f4e41dfad0510ba802e0c9f6d |
Erwartetes Ergebnis
1865793
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | nein |
Prompt
Du erhaeltst unter content eine HTML-Datei. Wieviel betraegt die Anzahl_Winterverlust beim Pudel. Gib ausschliesslich die Zahl zurueck. # content <table> <thead> <tr> <th>Rasse</th> <th>Anzahl_Haare</th> <th>Anzahl_Unterfell</th> <th>Anzahl_Oberfell</th> <th>Anzahl_Winterverlust</th> <th>Anzahl_Sommerverlust</th> <th>Anzahl_Wachstumsrate</th> </tr> </thead> <tbody> <tr> <td>Labrador Retriever</td> <td>35687249</td> <td>18473629</td> <td>17298365</td> <td>2689743</td> <td>1487635</td> <td>923587</td> </tr> <tr> <td>Deutscher Schaeferhund</td> <td>41258793</td> <td>22579341</td> <td>18765923</td> <td>3165879</td> <td>1789643</td> <td>1197835</td> </tr> <tr> <td>Pudel</td> <td>29873651</td> <td>15487963</td> <td>14987235</td> <td>1865793</td> <td>978653</td> <td>768943</td> </tr> <tr> <td>Golden Retriever</td> <td>38421759</td> <td>21987653</td> <td>16498723</td> <td>2981769</td> <td>1578439</td> <td>987653</td> </tr> <tr> <td>Beagle</td> <td>22758693</td> <td>11897653</td> <td>11987523</td> <td>1469873</td> <td>768539</td> <td>627589</td> </tr> <tr> <td>Chihuahua</td> <td>8579631</td> <td>4298765</td> <td>4389765</td> <td>589763</td> <td>278953</td> <td>219875</td> </tr> <tr> <td>Bernhardiner</td> <td>52873659</td> <td>27896531</td> <td>24987653</td> <td>3689751</td> <td>1987653</td> <td>1398759</td> </tr> <tr> <td>Border Collie</td> <td>31876523</td> <td>15798623</td> <td>14987635</td> <td>2189765</td> <td>1189753</td> <td>873659</td> </tr> <tr> <td>Shiba Inu</td> <td>26498753</td> <td>13987653</td> <td>12598763</td> <td>1765983</td> <td>986357</td> <td>743859</td> </tr> <tr> <td>Dackel</td> <td>18976523</td> <td>9786531</td> <td>9265873</td> <td>1289753</td> <td>678953</td> <td>548973</td> </tr> </tbody> </table>
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.





