complexSemanticText im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob das Modell mehrere logisch getrennte Inhaltsblöcke korrekt verarbeitet, nur die explizit angegebenen Daten nutzt und eine streng definierte numerische Ausgabe erzeugt. Die Aufgabe kombiniert semantische Regeln, arithmetische Verarbeitung und formale Ausgabebedingungen.
| Quelldatei | complexSemanticText.txt |
|---|---|
| Serie | 1 |
| Kategorien | text, semantics, reasoning |
| Bewertung | Deterministisch |
| Prompt SHA-256 | eb7f239555d70f034c65631f3db60ecc9c8b0cbe0c1a24cd2b6a6e3e1ae3c321 |
Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.
Erwartetes Ergebnis
63
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | nein |
Prompt
Komplexer Prompt für eine Testsuite Du erhältst mehrere logisch getrennte Inhaltsblöcke. Verarbeite sie strikt in der angegebenen Reihenfolge. Nutze keine Informationen, die nicht explizit in den Blöcken vorkommen. Am Ende sollst du einen numerischen Zielwert aus den Daten ermitteln. Gib ausschließlich den Zielwert zurück. Abschnitt A Inhaltliche Einordnung Der folgende Text beschreibt drei Tiere und einige numerische Eigenschaften. A1 Hund: Fellpunkte 14, Ruheindex 7 A2 Katze: Fellpunkte 9, Ruheindex 11 A3 Papagei: Fellpunkte 6, Ruheindex 5 Abschnitt B Semantische Regelbasis B1 Addiere für jedes Tier die Fellpunkte und den Ruheindex. B2 Vergleiche alle Summen. B3 Finde die höchste Summe. B4 Der Zielwert ist die höchste Summe multipliziert mit der Anzahl der beschriebenen Tiere. Abschnitt C Prüfformat C1 Gib ausschließlich eine Zahl aus. C2 Keine Begründung. Keine Texte. Keine Einheiten. C3 Alles andere gilt als Fehler. Abschnitt D Beispiel zur eigenen Kontrolle D1 Tiere sind 3 D2 Höchste Summe ist Hund mit 14 plus 7 ergibt 21 D3 Zielwert ist 21 multipliziert mit 3 ergibt 63 Aufgabe Ermittle den Zielwert exakt nach den Regeln aus Abschnitt B und gib ihn gemäß Abschnitt C zurück.
816 Runs
809 bewertet
66.7 % Score
32.6 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.