TableHTMLHeadThSpans im LLM-Testsuite-Report

Testfallbeschreibung

Der Test bewertet, ob das Modell eine technisch anspruchsvolle HTML-Tabelle korrekt verarbeiten kann. Die Tabelle enthält verschachtelte Kopfbereiche, rowspan- und colspan-Strukturen sowie unterschiedlich kombinierte Datenzellen. Geprüft wird, ob das Modell diese komplexe Tabellengeometrie zuverlässig interpretiert, Spalten logisch zuordnet und Werte exakt extrahieren kann, auch wenn Zellen gruppiert oder mehrfach belegt sind.

QuelldateiTableHTMLHeadThSpans.txt
Serie1
Kategorienhtml, table
BewertungDeterministisch
Prompt SHA-256c6405f5aa4a3d18800e5ec82282fc2edb26c5eeb5368bd19a7669c6879862d6c
Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.

Erwartetes Ergebnis

2689743

Erwartung im Katalognein
Korrektes Ergebnis im Katalognein

Prompt

Du erhaeltst unter content eine HTML-Datei.
Wieviel betraegt die Anzahl_Winterverlust beim Labrador Retriever. 
Gib ausschliesslich die Zahl zurueck.

# content
<table border="1"  >
  <thead>
      <tr>
     <th rowspan="2">Rasse</th>
     <th colspan="3">Gesamtzaehlungen</th>
     <th colspan="3">Verluste und Wachstum</th>
     <th rowspan="2">Hinweis</th>
      </tr>
      <tr>
     <th>Anzahl_Haare</th>
     <th>Anzahl_Unterfell</th>
     <th>Anzahl_Oberfell</th>
     <th>Anzahl_Winterverlust</th>
     <th>Anzahl_Sommerverlust</th>
     <th>Anzahl_Wachstumsrate</th>
      </tr>
  </thead>
  
  <tbody>
      <tr>
     <td rowspan="2">Beagle</td>
     <td colspan="2">22758693 kombiniert mit Unterfell 11897653</td>
     <td>11987523</td>
     <td rowspan="2">1469873</td>
     <td rowspan="2">768539</td>
     <td rowspan="2">627589</td>
     <td rowspan="2">Basiswert</td>
      </tr>
      <tr>
     <td>22758693</td>
     <td>11897653</td>
     <td>11987523</td>
      </tr>
      
      <tr>
     <td>Labrador Retriever</td>
     <td>35687249</td>
     <td>18473629</td>
     <td>17298365</td>
     <td colspan="2">2689743</td>
     <td>923587</td>
     <td>normale Kategorie</td>
      </tr>
      
      <tr>
     <td rowspan="2">Shiba Inu</td>
     <td rowspan="2">26498753</td>
     <td>13987653</td>
     <td rowspan="2">12598763</td>
     <td>1765983</td>
     <td rowspan="2" colspan="2">986357</td>
     <td rowspan="2">kombiniert</td>
      </tr>
      <tr>
     <td>13987653</td>
     <td>1765983</td>
      </tr>
      
      <tr>
     <td colspan="8">Zusammenfassung der Tabelle</td>
      </tr>
  </tbody>
</table>
737 Runs 729 bewertet 46.3 % Score 25.0 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am