complexSemanticJson im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob ein Modell eine vollständig JSON-strukturierte Aufgabenstellung korrekt auswerten kann. Die Aufgabe kombiniert semantische Regeln, numerische Berechnung und ein strikt vorgegebenes Ausgabeformat. Entscheidend ist, dass ausschließlich der Zielwert zurückgegeben wird.

Erwartetes Ergebnis

63

Prompt

{
  "prompt": {
    "abschnittA": {
      "name": "InhaltlicheEinordnung",
      "tiere": [
        {
          "art": "Hund",
          "fellpunkte": 14,
          "ruheindex": 7
        },
        {
          "art": "Katze",
          "fellpunkte": 9,
          "ruheindex": 11
        },
        {
          "art": "Papagei",
          "fellpunkte": 6,
          "ruheindex": 5
        }
      ]
    },
    "abschnittB": {
      "name": "SemantischeRegeln",
      "regeln": [
        { "id": "B1", "text": "Addiere für jedes Tier Fellpunkte und Ruheindex." },
        { "id": "B2", "text": "Vergleiche alle berechneten Summen." },
        { "id": "B3", "text": "Finde die höchste Summe." },
        { "id": "B4", "text": "Der Zielwert ist höchste Summe mal Anzahl der Tiere." }
      ]
    },
    "abschnittC": {
      "name": "Ausgabeformat",
      "anforderungen": [
        { "id": "C1", "text": "Gib ausschließlich den Zielwert aus." },
        { "id": "C2", "text": "Keine Begründung. Kein Text. Keine Einheit." },
        { "id": "C3", "text": "Jede Abweichung ist ein Fehler." }
      ]
    },
    "abschnittD": {
      "name": "Beispiel",
      "beispiele": [
        { "id": "D1", "text": "Anzahl Tiere ist 3." },
        { "id": "D2", "text": "Höchste Summe ist Hund mit 14 plus 7 ergibt 21." },
        { "id": "D3", "text": "Zielwert ist 21 mal 3 ergibt 63." }
      ]
    },
    "aufgabe": {
      "text": "Ermittle den Zielwert exakt nach abschnittB und gib ihn gemäß abschnittC zurück."
    }
  }
}