KI & XML / LLM-Testsuite / Resultate / Testcases / TableCalsSpans

TableCalsSpans im LLM-Testsuite-Report

Testfallbeschreibung

Dieser Test prüft, ob das Modell aus einer CALS-Tabelle zielgerichtet einen einzelnen Zahlenwert extrahieren kann. Die Aufgabe besteht darin, in der Tabelle den Eintrag für den Labrador Retriever zu finden und daraus den Wert der Spalte Anzahl_Winterverlust zu ermitteln. Als Antwort soll nur die gesuchte Zahl erscheinen, keine Zusatztexte.

Quelldatei	TableCalsSpans.txt
Serie	1
Kategorien	xml, cals, table
Bewertung	Deterministisch
Prompt SHA-256	facdad8c41c0615debfd98532dbb395de3587f9cac6f6d691d00af86fbaf9782

Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.

Erwartetes Ergebnis

2689743

Erwartung im Katalog	nein
Korrektes Ergebnis im Katalog	ja

Prompt

Du erhaeltst unter content eine CALS-Tabelle.
Wieviel betraegt die Anzahl_Winterverlust beim Labrador Retriever. 
Gib ausschliesslich die Zahl zurueck.

# content
<table frame="all">  
            <title/>
            <tgroup cols="8">
                <colspec colname="c1"/>
                <colspec colname="c2"/>
                <colspec colname="c3"/>
                <colspec colname="c4"/>
                <colspec colname="c5"/>
                <colspec colname="c6"/>
                <colspec colname="c7"/>
                <colspec colname="c8"/>
                
                <thead>
                    <row>
                        <entry morerows="1">Rasse</entry>
                        <entry namest="c2" nameend="c4">Gesamtzaehlungen</entry>
                        <entry namest="c5" nameend="c7">Verluste und Wachstum</entry>
                        <entry morerows="1">Hinweis</entry>
                    </row>
                    
                    <row>
                        <entry>Anzahl_Haare</entry>
                        <entry>Anzahl_Unterfell</entry>
                        <entry>Anzahl_Oberfell</entry>
                        <entry>Anzahl_Winterverlust</entry>
                        <entry>Anzahl_Sommerverlust</entry>
                        <entry>Anzahl_Wachstumsrate</entry>
                    </row>
                </thead>
                
                <tbody>
                    
                    <row>
                        <entry morerows="1">Beagle</entry>
                        <entry namest="c2" nameend="c3">
                            22758693 kombiniert mit Unterfell 11897653
                        </entry>
                        <entry>11987523</entry>
                        <entry morerows="1">1469873</entry>
                        <entry morerows="1">768539</entry>
                        <entry morerows="1">627589</entry>
                        <entry morerows="1">Basiswert</entry>
                    </row>
                    
                    <row>
                        <entry>22758693</entry>
                        <entry>11897653</entry>
                        <entry>11987523</entry>
                    </row>
                    
                    <row>
                        <entry>Labrador Retriever</entry>
                        <entry>35687249</entry>
                        <entry>18473629</entry>
                        <entry>17298365</entry>
                        <entry namest="c5" nameend="c6">2689743</entry>
                        <entry>923587</entry>
                        <entry>normale Kategorie</entry>
                    </row>
                    
                    <row>
                        <entry morerows="1">Shiba Inu</entry>
                        <entry morerows="1">26498753</entry>
                        <entry>13987653</entry>
                        <entry morerows="1">12598763</entry>
                        <entry>1765983</entry>
                        <entry namest="c6" nameend="c7" morerows="1">
                            986357 und 743859 gruppiert
                        </entry>
                        <entry morerows="1">kombiniert</entry>
                    </row>
                    
                    <row>
                        <entry>13987653</entry>
                        <entry>1765983</entry>
                    </row>
                    
                    <row>
                        <entry namest="c1" nameend="c8">Zusammenfassung der Tabelle</entry>
                    </row>
                    
                </tbody>
            </tgroup>
        </table>

737 Runs 730 bewertet 32.8 % Score 20.2 % exakt korrekt

Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Modell Kategorie Zugangsweg