markdownTableShort im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob das Modell eine md Datei korrekt analysieren kann. Ziel ist es, die Stadt mit der höchsten Bevölkerungsdichte zu identifizieren und anschließend Stadtname und PLZ dieser Stadt auszugeben. Bewertet wird, ob das Modell die richtige Spalte erkennt, die Dichtewerte korrekt interpretiert und den passenden Datensatz extrahiert.
| Quelldatei | markdownTableShort.txt |
|---|---|
| Serie | 1 |
| Kategorien | md, table, analysis |
| Bewertung | Deterministisch |
| Prompt SHA-256 | 923cd9dc450af1a05be0925043d7f19496d35903c61352007103fb373846f2b9 |
Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.
Erwartetes Ergebnis
München, Landeshauptstadt / 80313
| Erwartung im Katalog | ja |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Hinweis: Normale Stadt-Tabellenanalyse: Stadt mit der höchsten Bevölkerungsdichte.
Prompt
Du erhaeltst unter content eine md Datei, getrennt durch Semikolon. Aufgabe Finde die Stadt mit der höchsten Bevölkerungsdichte (ewdichte). Gib anschließend genau zwei Werte zurück erst den Stadtnamen (gemeinde) dann die PLZ der Stadt. Keine weiteren Erklärungen. # content |id |blandname |blandkz|rbz|kreis|gverband|gemeinde|ars |ags |gname |flaechekm2|ewgesamt|ewm |eww |ewdichte|plz |lon |lat |rgebietkz|rgebietname |vstkz|vstname | |-----|----------------------|-------|---|-----|--------|--------|-----------|--------|-------------------------------------|----------|--------|-------|-------|--------|-----|---------|---------|---------|--------------------------------------------|-----|--------------------------| |12607|Berlin |11 |0 |0 |0 |0 |1,1E+11 |11000000|Berlin, Stadt |891 |3685265 |1810259|1875006|4136 |10178|13,405538|52,51767 |XBE |Berlin |1 |dicht besiedelt | |1297 |Hamburg |2 |0 |0 |0 |0 |20000000000|2000000 |Hamburg, Freie und Hansestadt |755 |1862565 |911888 |950677 |2467 |20038|9,99697 |53,550678|XHH |Hamburg |1 |dicht besiedelt | |8623 |Bayern |9 |1 |62 |0 |0 |91620000000|9162000 |München, Landeshauptstadt |310 |1505005 |737442 |767563 |4844 |80313|11,575997|48,137683|T23 |Landeshauptstadt München |1 |dicht besiedelt | |2902 |Nordrhein-Westfalen |5 |3 |15 |0 |0 |53150000000|5315000 |Köln, Stadt |405 |1024621 |498050 |526571 |2530 |50667|6,957068 |50,938107|H09 |Köln und Rhein-Erft-Kreis |1 |dicht besiedelt | |3605 |Hessen |6 |4 |12 |0 |0 |64120000000|6412000 |Frankfurt am Main, Stadt |248 |756021 |371235 |384786 |3045 |60311|8,682433 |50,11088 |I13 |Main und Taunus |1 |dicht besiedelt | |2751 |Nordrhein-Westfalen |5 |1 |11 |0 |0 |51110000000|5111000 |Düsseldorf, Stadt |217 |618685 |299070 |319615 |2846 |40213|6,780068 |51,22422 |H10 |Düsseldorf und Kreis Mettmann |1 |dicht besiedelt | |6995 |Baden-Württemberg |8 |1 |11 |0 |0 |81110000000|8111000 |Stuttgart, Landeshauptstadt |207 |612663 |304725 |307938 |2955 |70173|9,177734 |48,775817|L50 |Region Stuttgart |1 |dicht besiedelt | |14716|Sachsen |14 |7 |13 |0 |0 |1,4713E+11 |14713000|Leipzig, Stadt |297 |611850 |301582 |310268 |2055 |4109 |12,377931|51,338288|C02 |Stadt Leipzig |1 |dicht besiedelt | |3425 |Nordrhein-Westfalen |5 |9 |13 |0 |0 |59130000000|5913000 |Dortmund, Stadt |280 |603462 |297860 |305602 |2150 |44135|7,464165 |51,514171|H11 |Ruhrgebiet |1 |dicht besiedelt | |2743 |Bremen |4 |0 |11 |0 |0 |40110000000|4011000 |Bremen, Stadt |326 |586271 |289585 |296686 |1797 |28195|8,809338 |53,075606|XHB |Bremen |1 |dicht besiedelt | |2757 |Nordrhein-Westfalen |5 |1 |13 |0 |0 |51130000000|5113000 |Essen, Stadt |210 |574682 |279666 |295016 |2732 |45121|7,012583 |51,455843|H11 |Ruhrgebiet |1 |dicht besiedelt | |14416|Sachsen |14 |6 |12 |0 |0 |1,4612E+11 |14612000|Dresden, Stadt |328 |564904 |280262 |284642 |1720 |1067 |13,736883|51,051697|C00 |Stadt Dresden |1 |dicht besiedelt | |10929|Bayern |9 |5 |64 |0 |0 |95640000000|9564000 |Nürnberg |186 |529508 |260358 |269150 |2840 |90403|11,075269|49,450938|T13 |Städteregion Nürnberg |1 |dicht besiedelt | |1572 |Niedersachsen |3 |2 |41 |1 |1 |32410001001|3241001 |Hannover, Landeshauptstadt |204 |522131 |256255 |265876 |2556 |30159|9,738084 |52,374551|G11 |Hannover-Hildesheim |1 |dicht besiedelt | |2754 |Nordrhein-Westfalen |5 |1 |12 |0 |0 |51120000000|5112000 |Duisburg, Stadt |232 |502270 |249294 |252976 |2157 |47051|6,765477 |51,433259|H02 |Niederrhein |1 |dicht besiedelt | |3422 |Nordrhein-Westfalen |5 |9 |11 |0 |0 |59110000000|5911000 |Bochum, Stadt |145 |358676 |176530 |182146 |2462 |44787|7,217177 |51,482699|H11 |Ruhrgebiet |1 |dicht besiedelt | |2778 |Nordrhein-Westfalen |5 |1 |24 |0 |0 |51240000000|5124000 |Wuppertal, Stadt |168 |358193 |176780 |181413 |2127 |42275|7,195874 |51,271288|H12 |Bergisches Städtedreieck |1 |dicht besiedelt | |3274 |Nordrhein-Westfalen |5 |7 |11 |0 |0 |57110000000|5711000 |Bielefeld, Stadt |258 |331605 |161011 |170594 |1281 |33602|8,534049 |52,021995|H04 |Teutoburger Wald |1 |dicht besiedelt | |2899 |Nordrhein-Westfalen |5 |3 |14 |0 |0 |53140000000|5314000 |Bonn, Stadt |141 |323336 |155766 |167570 |2292 |53111|7,099187 |50,734245|H08 |Bonn und Rhein-Sieg-Kreis |1 |dicht besiedelt | |7610 |Baden-Württemberg |8 |2 |22 |0 |0 |82220000000|8222000 |Mannheim, Universitätsstadt |144 |318035 |159246 |158789 |2194 |68159|8,466275 |49,48778 |L40 |Nördliches Baden-Württemberg |1 |dicht besiedelt |
733 Runs
725 bewertet
21.5 % Score
19.7 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.