CsvTableShortMultiJson im LLM-Testsuite-Report

Testfallbeschreibung

Analyse mit mehreren Bedingungen in JSON Form

QuelldateiCsvTableShortMultiJson.txt
Serie1
Kategoriencsv, table, analysis
BewertungDeterministisch
Prompt SHA-2560310d92502e9123bb1ae2c1118f38d7e1d8fc6513857dc1ca736991d3a2b162f
Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.

Erwartetes Ergebnis

KEIN_PASSENDER_DATENSATZ

Erwartung im Katalogja
Korrektes Ergebnis im Katalogja

Hinweis: Multi-Bedingungsfall: kein passender Datensatz, weil München mit 310 km² die Bedingung Fläche unter 300 km² nicht erfüllt.

Prompt

{
  "aufgabe": {
    "beschreibung": "Finde die Stadt mit höchster Dichte, Fläche <300 und über 1 Million Einwohnern.",
    "bedingungen": [
      "höchste Bevölkerungsdichte",
      "Fläche < 300 Quadratkilometer",
      "Einwohnerzahl > 1 Million"
    ],
    "ausgabe": ["gemeinde", "plz"]
  },
  "content": "id;blandname;blandkz;rbz;kreis;gverband;gemeinde;ars;ags;gname;flaechekm2;ewgesamt;ewm;eww;ewdichte;plz;lon;lat;rgebietkz;rgebietname;vstkz;vstname
12607;Berlin;11;0;0;0;0;1,1E+11;11000000;Berlin, Stadt;891;3685265;1810259;1875006;4136;10178;13,405538;52,51767;XBE;Berlin;1;dicht besiedelt
1297;Hamburg;2;0;0;0;0;20000000000;2000000;Hamburg, Freie und Hansestadt;755;1862565;911888;950677;2467;20038;9,99697;53,550678;XHH;Hamburg;1;dicht besiedelt
8623;Bayern;9;1;62;0;0;91620000000;9162000;München, Landeshauptstadt;310;1505005;737442;767563;4844;80313;11,575997;48,137683;T23;Landeshauptstadt München;1;dicht besiedelt
2902;Nordrhein-Westfalen;5;3;15;0;0;53150000000;5315000;Köln, Stadt;405;1024621;498050;526571;2530;50667;6,957068;50,938107;H09;Köln und Rhein-Erft-Kreis;1;dicht besiedelt
3605;Hessen;6;4;12;0;0;64120000000;6412000;Frankfurt am Main, Stadt;248;756021;371235;384786;3045;60311;8,682433;50,11088;I13;Main und Taunus;1;dicht besiedelt
2751;Nordrhein-Westfalen;5;1;11;0;0;51110000000;5111000;Düsseldorf, Stadt;217;618685;299070;319615;2846;40213;6,780068;51,22422;H10;Düsseldorf und Kreis Mettmann;1;dicht besiedelt
6995;Baden-Württemberg;8;1;11;0;0;81110000000;8111000;Stuttgart, Landeshauptstadt;207;612663;304725;307938;2955;70173;9,177734;48,775817;L50;Region Stuttgart;1;dicht besiedelt
14716;Sachsen;14;7;13;0;0;1,4713E+11;14713000;Leipzig, Stadt;297;611850;301582;310268;2055;4109;12,377931;51,338288;C02;Stadt Leipzig;1;dicht besiedelt
3425;Nordrhein-Westfalen;5;9;13;0;0;59130000000;5913000;Dortmund, Stadt;280;603462;297860;305602;2150;44135;7,464165;51,514171;H11;Ruhrgebiet;1;dicht besiedelt
2743;Bremen;4;0;11;0;0;40110000000;4011000;Bremen, Stadt;326;586271;289585;296686;1797;28195;8,809338;53,075606;XHB;Bremen;1;dicht besiedelt
2757;Nordrhein-Westfalen;5;1;13;0;0;51130000000;5113000;Essen, Stadt;210;574682;279666;295016;2732;45121;7,012583;51,455843;H11;Ruhrgebiet;1;dicht besiedelt
14416;Sachsen;14;6;12;0;0;1,4612E+11;14612000;Dresden, Stadt;328;564904;280262;284642;1720;1067;13,736883;51,051697;C00;Stadt Dresden;1;dicht besiedelt
10929;Bayern;9;5;64;0;0;95640000000;9564000;Nürnberg;186;529508;260358;269150;2840;90403;11,075269;49,450938;T13;Städteregion Nürnberg;1;dicht besiedelt
1572;Niedersachsen;3;2;41;1;1;32410001001;3241001;Hannover, Landeshauptstadt;204;522131;256255;265876;2556;30159;9,738084;52,374551;G11;Hannover-Hildesheim;1;dicht besiedelt
2754;Nordrhein-Westfalen;5;1;12;0;0;51120000000;5112000;Duisburg, Stadt;232;502270;249294;252976;2157;47051;6,765477;51,433259;H02;Niederrhein;1;dicht besiedelt
3422;Nordrhein-Westfalen;5;9;11;0;0;59110000000;5911000;Bochum, Stadt;145;358676;176530;182146;2462;44787;7,217177;51,482699;H11;Ruhrgebiet;1;dicht besiedelt
2778;Nordrhein-Westfalen;5;1;24;0;0;51240000000;5124000;Wuppertal, Stadt;168;358193;176780;181413;2127;42275;7,195874;51,271288;H12;Bergisches Städtedreieck;1;dicht besiedelt
3274;Nordrhein-Westfalen;5;7;11;0;0;57110000000;5711000;Bielefeld, Stadt;258;331605;161011;170594;1281;33602;8,534049;52,021995;H04;Teutoburger Wald;1;dicht besiedelt
2899;Nordrhein-Westfalen;5;3;14;0;0;53140000000;5314000;Bonn, Stadt;141;323336;155766;167570;2292;53111;7,099187;50,734245;H08;Bonn und Rhein-Sieg-Kreis;1;dicht besiedelt
7610;Baden-Württemberg;8;2;22;0;0;82220000000;8222000;Mannheim, Universitätsstadt;144;318035;159246;158789;2194;68159;8,466275;49,48778;L40;Nördliches Baden-Württemberg;1;dicht besiedelt
"
}
789 Runs 774 bewertet 6.6 % Score 5.7 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am