htmlTableShort im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob das Modell eine html Datei korrekt analysieren kann. Ziel ist es, die Stadt mit der höchsten Bevölkerungsdichte zu identifizieren und anschließend Stadtname und PLZ dieser Stadt auszugeben. Bewertet wird, ob das Modell die richtige Spalte erkennt, die Dichtewerte korrekt interpretiert und den passenden Datensatz extrahiert.

QuelldateihtmlTableShort.txt
Serie1
Kategorienhtml, table, analysis
BewertungDeterministisch
Prompt SHA-2562bb9cbf32ec61bfe532d60c208d6d00d886a1ed8a1de8bd5830b3c9f62c72478
Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.

Erwartetes Ergebnis

München, Landeshauptstadt / 80313

Erwartung im Katalogja
Korrektes Ergebnis im Katalogja

Hinweis: Normale Stadt-Tabellenanalyse: Stadt mit der höchsten Bevölkerungsdichte.

Prompt

Du erhaeltst unter content eine html Datei, getrennt durch Semikolon.

Aufgabe
Finde die Stadt mit der höchsten Bevölkerungsdichte (ewdichte).
Gib anschließend genau zwei Werte zurück
erst den Stadtnamen (gemeinde)
dann die PLZ der Stadt.

Keine weiteren Erklärungen.

# content
<table>
<thead>
<tr><th>id</th><th>blandname</th><th>blandkz</th><th>rbz</th><th>kreis</th><th>gverband</th><th>gemeinde</th><th>ars</th><th>ags</th><th>gname</th><th>flaechekm2</th><th>ewgesamt</th><th>ewm</th><th>eww</th><th>ewdichte</th><th>plz</th><th>lon</th><th>lat</th><th>rgebietkz</th><th>rgebietname</th><th>vstkz</th><th>vstname</th></tr>
</thead>
<tbody>
<tr><td>12607</td><td>Berlin</td><td>11</td><td>0</td><td>0</td><td>0</td><td>0</td><td>1,1E+11</td><td>11000000</td><td>Berlin, Stadt</td><td>891</td><td>3685265</td><td>1810259</td><td>1875006</td><td>4136</td><td>10178</td><td>13,405538</td><td>52,51767</td><td>XBE</td><td>Berlin</td><td>1</td><td>dicht besiedelt</td></tr>
<tr><td>1297</td><td>Hamburg</td><td>2</td><td>0</td><td>0</td><td>0</td><td>0</td><td>20000000000</td><td>2000000</td><td>Hamburg, Freie und Hansestadt</td><td>755</td><td>1862565</td><td>911888</td><td>950677</td><td>2467</td><td>20038</td><td>9,99697</td><td>53,550678</td><td>XHH</td><td>Hamburg</td><td>1</td><td>dicht besiedelt</td></tr>
<tr><td>8623</td><td>Bayern</td><td>9</td><td>1</td><td>62</td><td>0</td><td>0</td><td>91620000000</td><td>9162000</td><td>München, Landeshauptstadt</td><td>310</td><td>1505005</td><td>737442</td><td>767563</td><td>4844</td><td>80313</td><td>11,575997</td><td>48,137683</td><td>T23</td><td>Landeshauptstadt München</td><td>1</td><td>dicht besiedelt</td></tr>
<tr><td>2902</td><td>Nordrhein-Westfalen</td><td>5</td><td>3</td><td>15</td><td>0</td><td>0</td><td>53150000000</td><td>5315000</td><td>Köln, Stadt</td><td>405</td><td>1024621</td><td>498050</td><td>526571</td><td>2530</td><td>50667</td><td>6,957068</td><td>50,938107</td><td>H09</td><td>Köln und Rhein-Erft-Kreis</td><td>1</td><td>dicht besiedelt</td></tr>
<tr><td>3605</td><td>Hessen</td><td>6</td><td>4</td><td>12</td><td>0</td><td>0</td><td>64120000000</td><td>6412000</td><td>Frankfurt am Main, Stadt</td><td>248</td><td>756021</td><td>371235</td><td>384786</td><td>3045</td><td>60311</td><td>8,682433</td><td>50,11088</td><td>I13</td><td>Main und Taunus</td><td>1</td><td>dicht besiedelt</td></tr>
<tr><td>2751</td><td>Nordrhein-Westfalen</td><td>5</td><td>1</td><td>11</td><td>0</td><td>0</td><td>51110000000</td><td>5111000</td><td>Düsseldorf, Stadt</td><td>217</td><td>618685</td><td>299070</td><td>319615</td><td>2846</td><td>40213</td><td>6,780068</td><td>51,22422</td><td>H10</td><td>Düsseldorf und Kreis Mettmann</td><td>1</td><td>dicht besiedelt</td></tr>
<tr><td>6995</td><td>Baden-Württemberg</td><td>8</td><td>1</td><td>11</td><td>0</td><td>0</td><td>81110000000</td><td>8111000</td><td>Stuttgart, Landeshauptstadt</td><td>207</td><td>612663</td><td>304725</td><td>307938</td><td>2955</td><td>70173</td><td>9,177734</td><td>48,775817</td><td>L50</td><td>Region Stuttgart</td><td>1</td><td>dicht besiedelt</td></tr>
<tr><td>14716</td><td>Sachsen</td><td>14</td><td>7</td><td>13</td><td>0</td><td>0</td><td>1,4713E+11</td><td>14713000</td><td>Leipzig, Stadt</td><td>297</td><td>611850</td><td>301582</td><td>310268</td><td>2055</td><td>4109</td><td>12,377931</td><td>51,338288</td><td>C02</td><td>Stadt Leipzig</td><td>1</td><td>dicht besiedelt</td></tr>
<tr><td>3425</td><td>Nordrhein-Westfalen</td><td>5</td><td>9</td><td>13</td><td>0</td><td>0</td><td>59130000000</td><td>5913000</td><td>Dortmund, Stadt</td><td>280</td><td>603462</td><td>297860</td><td>305602</td><td>2150</td><td>44135</td><td>7,464165</td><td>51,514171</td><td>H11</td><td>Ruhrgebiet</td><td>1</td><td>dicht besiedelt</td></tr>
<tr><td>2743</td><td>Bremen</td><td>4</td><td>0</td><td>11</td><td>0</td><td>0</td><td>40110000000</td><td>4011000</td><td>Bremen, Stadt</td><td>326</td><td>586271</td><td>289585</td><td>296686</td><td>1797</td><td>28195</td><td>8,809338</td><td>53,075606</td><td>XHB</td><td>Bremen</td><td>1</td><td>dicht besiedelt</td></tr>
<tr><td>2757</td><td>Nordrhein-Westfalen</td><td>5</td><td>1</td><td>13</td><td>0</td><td>0</td><td>51130000000</td><td>5113000</td><td>Essen, Stadt</td><td>210</td><td>574682</td><td>279666</td><td>295016</td><td>2732</td><td>45121</td><td>7,012583</td><td>51,455843</td><td>H11</td><td>Ruhrgebiet</td><td>1</td><td>dicht besiedelt</td></tr>
<tr><td>14416</td><td>Sachsen</td><td>14</td><td>6</td><td>12</td><td>0</td><td>0</td><td>1,4612E+11</td><td>14612000</td><td>Dresden, Stadt</td><td>328</td><td>564904</td><td>280262</td><td>284642</td><td>1720</td><td>1067</td><td>13,736883</td><td>51,051697</td><td>C00</td><td>Stadt Dresden</td><td>1</td><td>dicht besiedelt</td></tr>
<tr><td>10929</td><td>Bayern</td><td>9</td><td>5</td><td>64</td><td>0</td><td>0</td><td>95640000000</td><td>9564000</td><td>Nürnberg</td><td>186</td><td>529508</td><td>260358</td><td>269150</td><td>2840</td><td>90403</td><td>11,075269</td><td>49,450938</td><td>T13</td><td>Städteregion Nürnberg</td><td>1</td><td>dicht besiedelt</td></tr>
<tr><td>1572</td><td>Niedersachsen</td><td>3</td><td>2</td><td>41</td><td>1</td><td>1</td><td>32410001001</td><td>3241001</td><td>Hannover, Landeshauptstadt</td><td>204</td><td>522131</td><td>256255</td><td>265876</td><td>2556</td><td>30159</td><td>9,738084</td><td>52,374551</td><td>G11</td><td>Hannover-Hildesheim</td><td>1</td><td>dicht besiedelt</td></tr>
<tr><td>2754</td><td>Nordrhein-Westfalen</td><td>5</td><td>1</td><td>12</td><td>0</td><td>0</td><td>51120000000</td><td>5112000</td><td>Duisburg, Stadt</td><td>232</td><td>502270</td><td>249294</td><td>252976</td><td>2157</td><td>47051</td><td>6,765477</td><td>51,433259</td><td>H02</td><td>Niederrhein</td><td>1</td><td>dicht besiedelt</td></tr>
<tr><td>3422</td><td>Nordrhein-Westfalen</td><td>5</td><td>9</td><td>11</td><td>0</td><td>0</td><td>59110000000</td><td>5911000</td><td>Bochum, Stadt</td><td>145</td><td>358676</td><td>176530</td><td>182146</td><td>2462</td><td>44787</td><td>7,217177</td><td>51,482699</td><td>H11</td><td>Ruhrgebiet</td><td>1</td><td>dicht besiedelt</td></tr>
<tr><td>2778</td><td>Nordrhein-Westfalen</td><td>5</td><td>1</td><td>24</td><td>0</td><td>0</td><td>51240000000</td><td>5124000</td><td>Wuppertal, Stadt</td><td>168</td><td>358193</td><td>176780</td><td>181413</td><td>2127</td><td>42275</td><td>7,195874</td><td>51,271288</td><td>H12</td><td>Bergisches Städtedreieck</td><td>1</td><td>dicht besiedelt</td></tr>
<tr><td>3274</td><td>Nordrhein-Westfalen</td><td>5</td><td>7</td><td>11</td><td>0</td><td>0</td><td>57110000000</td><td>5711000</td><td>Bielefeld, Stadt</td><td>258</td><td>331605</td><td>161011</td><td>170594</td><td>1281</td><td>33602</td><td>8,534049</td><td>52,021995</td><td>H04</td><td>Teutoburger Wald</td><td>1</td><td>dicht besiedelt</td></tr>
<tr><td>2899</td><td>Nordrhein-Westfalen</td><td>5</td><td>3</td><td>14</td><td>0</td><td>0</td><td>53140000000</td><td>5314000</td><td>Bonn, Stadt</td><td>141</td><td>323336</td><td>155766</td><td>167570</td><td>2292</td><td>53111</td><td>7,099187</td><td>50,734245</td><td>H08</td><td>Bonn und Rhein-Sieg-Kreis</td><td>1</td><td>dicht besiedelt</td></tr>
<tr><td>7610</td><td>Baden-Württemberg</td><td>8</td><td>2</td><td>22</td><td>0</td><td>0</td><td>82220000000</td><td>8222000</td><td>Mannheim, Universitätsstadt</td><td>144</td><td>318035</td><td>159246</td><td>158789</td><td>2194</td><td>68159</td><td>8,466275</td><td>49,48778</td><td>L40</td><td>Nördliches Baden-Württemberg</td><td>1</td><td>dicht besiedelt</td></tr>
</tbody>
</table>
726 Runs 713 bewertet 20.3 % Score 14.1 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am