CsvTableShort im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob das Modell eine CSV Datei korrekt analysieren kann. Ziel ist es, die Stadt mit der höchsten Bevölkerungsdichte zu identifizieren und anschließend Stadtname und PLZ dieser Stadt auszugeben. Bewertet wird, ob das Modell die richtige Spalte erkennt, die Dichtewerte korrekt interpretiert und den passenden Datensatz extrahiert.

QuelldateiCsvTableShort.txt
Serie1
Kategoriencsv, table, analysis
BewertungDeterministisch
Prompt SHA-256669cba3fa51fbe5086b7de797021de707ac2c7d9657315b5934bc01f87f34c4d
Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.

Erwartetes Ergebnis

München, Landeshauptstadt / 80313

Erwartung im Katalogja
Korrektes Ergebnis im Katalogja

Hinweis: Normale Stadt-Tabellenanalyse: Stadt mit der höchsten Bevölkerungsdichte.

Prompt

Du erhaeltst unter content eine CSV Datei, getrennt durch Semikolon.

Aufgabe
Finde die Stadt mit der höchsten Bevölkerungsdichte (ewdichte).
Gib anschließend genau zwei Werte zurück
erst den Stadtnamen (gemeinde)
dann die PLZ der Stadt.

Keine weiteren Erklärungen.

# content
id;blandname;blandkz;rbz;kreis;gverband;gemeinde;ars;ags;gname;flaechekm2;ewgesamt;ewm;eww;ewdichte;plz;lon;lat;rgebietkz;rgebietname;vstkz;vstname
12607;Berlin;11;0;0;0;0;1,1E+11;11000000;Berlin, Stadt;891;3685265;1810259;1875006;4136;10178;13,405538;52,51767;XBE;Berlin;1;dicht besiedelt
1297;Hamburg;2;0;0;0;0;20000000000;2000000;Hamburg, Freie und Hansestadt;755;1862565;911888;950677;2467;20038;9,99697;53,550678;XHH;Hamburg;1;dicht besiedelt
8623;Bayern;9;1;62;0;0;91620000000;9162000;München, Landeshauptstadt;310;1505005;737442;767563;4844;80313;11,575997;48,137683;T23;Landeshauptstadt München;1;dicht besiedelt
2902;Nordrhein-Westfalen;5;3;15;0;0;53150000000;5315000;Köln, Stadt;405;1024621;498050;526571;2530;50667;6,957068;50,938107;H09;Köln und Rhein-Erft-Kreis;1;dicht besiedelt
3605;Hessen;6;4;12;0;0;64120000000;6412000;Frankfurt am Main, Stadt;248;756021;371235;384786;3045;60311;8,682433;50,11088;I13;Main und Taunus;1;dicht besiedelt
2751;Nordrhein-Westfalen;5;1;11;0;0;51110000000;5111000;Düsseldorf, Stadt;217;618685;299070;319615;2846;40213;6,780068;51,22422;H10;Düsseldorf und Kreis Mettmann;1;dicht besiedelt
6995;Baden-Württemberg;8;1;11;0;0;81110000000;8111000;Stuttgart, Landeshauptstadt;207;612663;304725;307938;2955;70173;9,177734;48,775817;L50;Region Stuttgart;1;dicht besiedelt
14716;Sachsen;14;7;13;0;0;1,4713E+11;14713000;Leipzig, Stadt;297;611850;301582;310268;2055;4109;12,377931;51,338288;C02;Stadt Leipzig;1;dicht besiedelt
3425;Nordrhein-Westfalen;5;9;13;0;0;59130000000;5913000;Dortmund, Stadt;280;603462;297860;305602;2150;44135;7,464165;51,514171;H11;Ruhrgebiet;1;dicht besiedelt
2743;Bremen;4;0;11;0;0;40110000000;4011000;Bremen, Stadt;326;586271;289585;296686;1797;28195;8,809338;53,075606;XHB;Bremen;1;dicht besiedelt
2757;Nordrhein-Westfalen;5;1;13;0;0;51130000000;5113000;Essen, Stadt;210;574682;279666;295016;2732;45121;7,012583;51,455843;H11;Ruhrgebiet;1;dicht besiedelt
14416;Sachsen;14;6;12;0;0;1,4612E+11;14612000;Dresden, Stadt;328;564904;280262;284642;1720;1067;13,736883;51,051697;C00;Stadt Dresden;1;dicht besiedelt
10929;Bayern;9;5;64;0;0;95640000000;9564000;Nürnberg;186;529508;260358;269150;2840;90403;11,075269;49,450938;T13;Städteregion Nürnberg;1;dicht besiedelt
1572;Niedersachsen;3;2;41;1;1;32410001001;3241001;Hannover, Landeshauptstadt;204;522131;256255;265876;2556;30159;9,738084;52,374551;G11;Hannover-Hildesheim;1;dicht besiedelt
2754;Nordrhein-Westfalen;5;1;12;0;0;51120000000;5112000;Duisburg, Stadt;232;502270;249294;252976;2157;47051;6,765477;51,433259;H02;Niederrhein;1;dicht besiedelt
3422;Nordrhein-Westfalen;5;9;11;0;0;59110000000;5911000;Bochum, Stadt;145;358676;176530;182146;2462;44787;7,217177;51,482699;H11;Ruhrgebiet;1;dicht besiedelt
2778;Nordrhein-Westfalen;5;1;24;0;0;51240000000;5124000;Wuppertal, Stadt;168;358193;176780;181413;2127;42275;7,195874;51,271288;H12;Bergisches Städtedreieck;1;dicht besiedelt
3274;Nordrhein-Westfalen;5;7;11;0;0;57110000000;5711000;Bielefeld, Stadt;258;331605;161011;170594;1281;33602;8,534049;52,021995;H04;Teutoburger Wald;1;dicht besiedelt
2899;Nordrhein-Westfalen;5;3;14;0;0;53140000000;5314000;Bonn, Stadt;141;323336;155766;167570;2292;53111;7,099187;50,734245;H08;Bonn und Rhein-Sieg-Kreis;1;dicht besiedelt
7610;Baden-Württemberg;8;2;22;0;0;82220000000;8222000;Mannheim, Universitätsstadt;144;318035;159246;158789;2194;68159;8,466275;49,48778;L40;Nördliches Baden-Württemberg;1;dicht besiedelt
772 Runs 760 bewertet 20.8 % Score 18.6 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am