KI & XML / LLM-Testsuite / Resultate / Testcases / ComplexSemanticYamlPrompt

ComplexSemanticYamlPrompt im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob ein Modell eine YAML-strukturierte Aufgabenbeschreibung korrekt auswerten kann. Die Aufgabe erfordert das Anwenden semantischer Regeln, numerische Berechnung und eine strikt formatierte Ausgabe.

Quelldatei	ComplexSemanticYamlPrompt.txt
Serie	1
Kategorien	yaml, semantics, reasoning
Bewertung	Deterministisch
Prompt SHA-256	9a70d538714205c22d74eeb5e96f0792c49de33db70e1594d7c522491dd8af5d

Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.

Erwartetes Ergebnis

Erwartung im Katalog	nein
Korrektes Ergebnis im Katalog	nein

Prompt

abschnittA:
  name: InhaltlicheEinordnung
  tiere:
    - art: Hund
      fellpunkte: 14
      ruheindex: 7
    - art: Katze
      fellpunkte: 9
      ruheindex: 11
    - art: Papagei
      fellpunkte: 6
      ruheindex: 5

abschnittB:
  name: SemantischeRegeln
  regeln:
    - id: B1
      text: Addiere für jedes Tier Fellpunkte und Ruheindex.
    - id: B2
      text: Vergleiche alle berechneten Summen.
    - id: B3
      text: Finde die höchste Summe.
    - id: B4
      text: Der Zielwert ist höchste Summe mal Anzahl der Tiere.

abschnittC:
  name: Ausgabeformat
  anforderungen:
    - id: C1
      text: Gib ausschließlich den Zielwert aus.
    - id: C2
      text: Keine Begründung. Kein Text. Keine Einheit.
    - id: C3
      text: Jede Abweichung ist ein Fehler.

abschnittD:
  name: Beispiel
  beispiele:
    - id: D1
      text: Anzahl Tiere ist 3.
    - id: D2
      text: Höchste Summe ist Hund mit 14 plus 7 ergibt 21.
    - id: D3
      text: Zielwert ist 21 mal 3 ergibt 63.

aufgabe:
  text: Ermittle den Zielwert exakt nach Abschnitt B und gib ihn gemäß Abschnitt C zurück.

802 Runs 792 bewertet 62.8 % Score 14.6 % exakt korrekt

Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Modell Kategorie Zugangsweg