TableHTMLHeadTh im LLM-Testsuite-Report

Testfallbeschreibung

Der Test bewertet, ob das Modell eine HTML-Tabelle mit korrekt ausgezeichneten Headerzellen zuverlässig interpretiert. Gesucht wird in der Zeile zum Pudel der Wert aus der Spalte Anzahl_Winterverlust. Das Modell soll die Zahl extrahieren und ohne weiteren Text ausgeben. Zudem wird geprüft, ob die Nutzung von th-Elementen anstelle von td-Elementen im Kopfbereich die Erkennung beeinflusst.

QuelldateiTableHTMLHeadTh.txt
Serie1
Kategorienhtml, table
BewertungDeterministisch
Prompt SHA-256399825b3c4298fb6b87c2c6e7b76a2fb78b6365f4e41dfad0510ba802e0c9f6d
Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.

Erwartetes Ergebnis

1865793

Erwartung im Katalognein
Korrektes Ergebnis im Katalognein

Prompt

Du erhaeltst unter content eine HTML-Datei.
Wieviel betraegt die Anzahl_Winterverlust beim Pudel. 
Gib ausschliesslich die Zahl zurueck.

# content
<table>
  <thead>
    <tr>
      <th>Rasse</th>
      <th>Anzahl_Haare</th>
      <th>Anzahl_Unterfell</th>
      <th>Anzahl_Oberfell</th>
      <th>Anzahl_Winterverlust</th>
      <th>Anzahl_Sommerverlust</th>
      <th>Anzahl_Wachstumsrate</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td>Labrador Retriever</td>
      <td>35687249</td>
      <td>18473629</td>
      <td>17298365</td>
      <td>2689743</td>
      <td>1487635</td>
      <td>923587</td>
    </tr>
    <tr>
      <td>Deutscher Schaeferhund</td>
      <td>41258793</td>
      <td>22579341</td>
      <td>18765923</td>
      <td>3165879</td>
      <td>1789643</td>
      <td>1197835</td>
    </tr>
    <tr>
      <td>Pudel</td>
      <td>29873651</td>
      <td>15487963</td>
      <td>14987235</td>
      <td>1865793</td>
      <td>978653</td>
      <td>768943</td>
    </tr>
    <tr>
      <td>Golden Retriever</td>
      <td>38421759</td>
      <td>21987653</td>
      <td>16498723</td>
      <td>2981769</td>
      <td>1578439</td>
      <td>987653</td>
    </tr>
    <tr>
      <td>Beagle</td>
      <td>22758693</td>
      <td>11897653</td>
      <td>11987523</td>
      <td>1469873</td>
      <td>768539</td>
      <td>627589</td>
    </tr>
    <tr>
      <td>Chihuahua</td>
      <td>8579631</td>
      <td>4298765</td>
      <td>4389765</td>
      <td>589763</td>
      <td>278953</td>
      <td>219875</td>
    </tr>
    <tr>
      <td>Bernhardiner</td>
      <td>52873659</td>
      <td>27896531</td>
      <td>24987653</td>
      <td>3689751</td>
      <td>1987653</td>
      <td>1398759</td>
    </tr>
    <tr>
      <td>Border Collie</td>
      <td>31876523</td>
      <td>15798623</td>
      <td>14987635</td>
      <td>2189765</td>
      <td>1189753</td>
      <td>873659</td>
    </tr>
    <tr>
      <td>Shiba Inu</td>
      <td>26498753</td>
      <td>13987653</td>
      <td>12598763</td>
      <td>1765983</td>
      <td>986357</td>
      <td>743859</td>
    </tr>
    <tr>
      <td>Dackel</td>
      <td>18976523</td>
      <td>9786531</td>
      <td>9265873</td>
      <td>1289753</td>
      <td>678953</td>
      <td>548973</td>
    </tr>
  </tbody>
</table>
734 Runs 725 bewertet 54.8 % Score 32.7 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am