TableHTMLHeadTd im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob das Modell eine HTML-Tabelle korrekt auswerten und gezielt einen einzelnen Wert extrahieren kann. Es gibt einen Head mit td-Elementen

QuelldateiTableHTMLHeadTd.txt
Serie1
Kategorienhtml, table
BewertungDeterministisch
Prompt SHA-256cf78f1ce92095d0b9a0d8e70f2e280fa9d2b278f957f08a199c2a35f466223c1
Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.

Erwartetes Ergebnis

1865793

Erwartung im Katalognein
Korrektes Ergebnis im Katalognein

Prompt

Du erhaeltst unter content eine HTML-Datei.
Wieviel betraegt die Anzahl_Winterverlust beim Pudel. 
Gib ausschliesslich die Zahl zurueck.

# content
<table>
  <thead>
    <tr>
      <td>Rasse</td>
      <td>Anzahl_Haare</td>
      <td>Anzahl_Unterfell</td>
      <td>Anzahl_Oberfell</td>
      <td>Anzahl_Winterverlust</td>
      <td>Anzahl_Sommerverlust</td>
      <td>Anzahl_Wachstumsrate</td>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td>Labrador Retriever</td>
      <td>35687249</td>
      <td>18473629</td>
      <td>17298365</td>
      <td>2689743</td>
      <td>1487635</td>
      <td>923587</td>
    </tr>
    <tr>
      <td>Deutscher Schaeferhund</td>
      <td>41258793</td>
      <td>22579341</td>
      <td>18765923</td>
      <td>3165879</td>
      <td>1789643</td>
      <td>1197835</td>
    </tr>
    <tr>
      <td>Pudel</td>
      <td>29873651</td>
      <td>15487963</td>
      <td>14987235</td>
      <td>1865793</td>
      <td>978653</td>
      <td>768943</td>
    </tr>
    <tr>
      <td>Golden Retriever</td>
      <td>38421759</td>
      <td>21987653</td>
      <td>16498723</td>
      <td>2981769</td>
      <td>1578439</td>
      <td>987653</td>
    </tr>
    <tr>
      <td>Beagle</td>
      <td>22758693</td>
      <td>11897653</td>
      <td>11987523</td>
      <td>1469873</td>
      <td>768539</td>
      <td>627589</td>
    </tr>
    <tr>
      <td>Chihuahua</td>
      <td>8579631</td>
      <td>4298765</td>
      <td>4389765</td>
      <td>589763</td>
      <td>278953</td>
      <td>219875</td>
    </tr>
    <tr>
      <td>Bernhardiner</td>
      <td>52873659</td>
      <td>27896531</td>
      <td>24987653</td>
      <td>3689751</td>
      <td>1987653</td>
      <td>1398759</td>
    </tr>
    <tr>
      <td>Border Collie</td>
      <td>31876523</td>
      <td>15798623</td>
      <td>14987635</td>
      <td>2189765</td>
      <td>1189753</td>
      <td>873659</td>
    </tr>
    <tr>
      <td>Shiba Inu</td>
      <td>26498753</td>
      <td>13987653</td>
      <td>12598763</td>
      <td>1765983</td>
      <td>986357</td>
      <td>743859</td>
    </tr>
    <tr>
      <td>Dackel</td>
      <td>18976523</td>
      <td>9786531</td>
      <td>9265873</td>
      <td>1289753</td>
      <td>678953</td>
      <td>548973</td>
    </tr>
  </tbody>
</table>
736 Runs 728 bewertet 55.3 % Score 33.0 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am