ComplexSemanticAnimalsDita im LLM-Testsuite-Report

Testfallbeschreibung

DITA Variante des komplexen semantischen Tierprompts.

QuelldateiComplexSemanticAnimalsDita.txt
Serie1
Kategoriendita, xml, semantics, reasoning
BewertungLLM-Judge
Prompt SHA-256c43315849cd3f10276d22eb150a846cf8ee3d4e31bb86c9d1e9a6dd4cdd17e92
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

Nach Entfernen ausschließlich führender und nachgestellter Leerraumzeichen besteht die gesamte Ausgabe exakt aus der Dezimalzahl 63.

Erwartung im Katalognein
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Vergleiche die getrimmte Antwort exakt mit 63. Akzeptiere keine Erklärung, Formatierung, Einheit, Satzzeichen, Codezäune oder Markup. Der Quelltext ist in DITA strukturiert, doch die geforderte Antwort selbst ist reiner Text.

Muss erfüllt sein

  • Die gesamte sichtbare Ausgabe lautet exakt 63; nur äußerer Leerraum vor oder nach der Zahl darf ignoriert werden.
  • Die drei Einzelsummen sind Hund 14 + 7 = 21, Katze 9 + 11 = 20 und Papagei 6 + 5 = 11.
  • Die höchste Einzelsumme ist 21 und die Anzahl der Tiere ist 3; daraus folgt der Zielwert 21 × 3 = 63.
  • Die Ausgabe enthält weder XML beziehungsweise HTML noch eine Wiederholung der strukturierten Eingabe.

Fehlerkriterien

  • Die getrimmte Ausgabe ist nicht exakt 63.
  • Die Antwort enthält Erläuterungen wie Der Zielwert ist, eine Einheit, Rechenschritte oder weitere Zahlen.
  • Die Zahl ist durch Markdown, Codezäune, Fettschrift, Anführungszeichen, XML- beziehungsweise HTML-Tags oder sonstiges Markup umgeben.
  • Die Antwort enthält Satzzeichen wie 63. oder eine alternative numerische Schreibweise wie 63,0.

Judge-Hinweis: Dieser Fall ist trotz answer_mode llm_judge_rule deterministisch zu bewerten. Zulässig ist ausschließlich das Trimmen äußerer Unicode-Leerraumzeichen; der übrige Antwortstring muss 63 sein. Das Format DITA betrifft nur die Darstellung des Prompts und rechtfertigt kein Markup in der Antwort.

Prompt

<topic id="complex-animals" xmlns="http://dita.oasis-open.org/architecture/2005/">
  <title>Komplexer Semantischer Prompt</title>

  <section>
    <title>Abschnitt A Inhaltliche Einordnung</title>

    <p>Tiere und Werte:</p>

    <dl>
      <dlentry>
        <dt>Hund</dt>
        <dd>Fellpunkte 14, Ruheindex 7</dd>
      </dlentry>
      <dlentry>
        <dt>Katze</dt>
        <dd>Fellpunkte 9, Ruheindex 11</dd>
      </dlentry>
      <dlentry>
        <dt>Papagei</dt>
        <dd>Fellpunkte 6, Ruheindex 5</dd>
      </dlentry>
    </dl>
  </section>

  <section>
    <title>Abschnitt B Semantische Regeln</title>
    <ol>
      <li>Addiere für jedes Tier Fellpunkte und Ruheindex.</li>
      <li>Vergleiche alle berechneten Summen.</li>
      <li>Finde die höchste Summe.</li>
      <li>Der Zielwert ist höchste Summe mal Anzahl der Tiere.</li>
    </ol>
  </section>

  <section>
    <title>Abschnitt C Ausgabeformat</title>
    <ul>
      <li>Gib ausschließlich den Zielwert aus.</li>
      <li>Keine Begründung. Kein Text. Keine Einheit.</li>
      <li>Jede Abweichung ist ein Fehler.</li>
    </ul>
  </section>

  <section>
    <title>Abschnitt D Beispiel</title>
    <p>Anzahl Tiere ist 3.</p>
    <p>Höchste Summe ist Hund mit 14 plus 7 ergibt 21.</p>
    <p>Zielwert ist 21 mal 3 ergibt 63.</p>
  </section>

  <section>
    <title>Aufgabe</title>
    <p>Ermittle den Zielwert exakt nach Abschnitt B und gib ihn gemäß Abschnitt C zurück.</p>
  </section>

</topic>
831 Runs 824 bewertet 19.7 % Score 18.2 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am