complexSemanticXml im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob ein Modell eine vollständig XML-strukturierte Aufgabenstellung korrekt auswerten kann, einschließlich semantischer Regeln, numerischer Berechnung und strengem Ausgabeformat. Entscheidend ist die Fähigkeit, ausschließlich den Zielwert gemäß den Regeln zu liefern.
| Quelldatei | complexSemanticXml.txt |
|---|---|
| Serie | 1 |
| Kategorien | xml, semantics, reasoning |
| Bewertung | Deterministisch |
| Prompt SHA-256 | 409f4ae3459c7c45ee27526e0afe062e2cbc9c58be5ea9e9f5b7580db0a7b251 |
Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.
Erwartetes Ergebnis
63
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | nein |
Prompt
<prompt>
<abschnittA name="InhaltlicheEinordnung">
<tier art="Hund">
<fellpunkte>14</fellpunkte>
<ruheindex>7</ruheindex>
</tier>
<tier art="Katze">
<fellpunkte>9</fellpunkte>
<ruheindex>11</ruheindex>
</tier>
<tier art="Papagei">
<fellpunkte>6</fellpunkte>
<ruheindex>5</ruheindex>
</tier>
</abschnittA>
<abschnittB name="SemantischeRegeln">
<regel id="B1">Addiere für jedes Tier Fellpunkte und Ruheindex.</regel>
<regel id="B2">Vergleiche alle berechneten Summen.</regel>
<regel id="B3">Finde die höchste Summe.</regel>
<regel id="B4">Der Zielwert ist höchste Summe mal Anzahl der Tiere.</regel>
</abschnittB>
<abschnittC name="Ausgabeformat">
<anforderung id="C1">Gib ausschließlich den Zielwert aus.</anforderung>
<anforderung id="C2">Keine Begründung. Kein Text. Keine Einheit.</anforderung>
<anforderung id="C3">Jede Abweichung ist ein Fehler.</anforderung>
</abschnittC>
<abschnittD name="Beispiel">
<beispiel id="D1">Anzahl Tiere ist 3.</beispiel>
<beispiel id="D2">Höchste Summe ist Hund mit 14 plus 7 ergibt 21.</beispiel>
<beispiel id="D3">Zielwert ist 21 mal 3 ergibt 63.</beispiel>
</abschnittD>
<aufgabe>
<text>Ermittle den Zielwert exakt nach abschnittB und gib ihn gemäß abschnittC zurück.</text>
</aufgabe>
</prompt>
804 Runs
795 bewertet
61.5 % Score
21.4 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.