ComplexSemanticAnimalsHtml im LLM-Testsuite-Report

Testfallbeschreibung

HTML Variante des komplexen semantischen Tierprompts.

QuelldateiComplexSemanticAnimalsHtml.txt
Serie1
Kategorienhtml, semantics, reasoning
BewertungLLM-Judge
Prompt SHA-25657e918c9a0c98d9568c97a458434600a1dbe5ba1f724c3bd94eaef1fdecd074b
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

Nach Entfernen ausschließlich führender und nachgestellter Leerraumzeichen besteht die gesamte Ausgabe exakt aus der Dezimalzahl 63.

Erwartung im Katalognein
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Vergleiche die getrimmte Antwort exakt mit 63. Akzeptiere keine Erklärung, Formatierung, Einheit, Satzzeichen, Codezäune oder Markup. Der Quelltext ist in HTML strukturiert, doch die geforderte Antwort selbst ist reiner Text.

Muss erfüllt sein

  • Die gesamte sichtbare Ausgabe lautet exakt 63; nur äußerer Leerraum vor oder nach der Zahl darf ignoriert werden.
  • Die drei Einzelsummen sind Hund 14 + 7 = 21, Katze 9 + 11 = 20 und Papagei 6 + 5 = 11.
  • Die höchste Einzelsumme ist 21 und die Anzahl der Tiere ist 3; daraus folgt der Zielwert 21 × 3 = 63.
  • Die Ausgabe enthält weder XML beziehungsweise HTML noch eine Wiederholung der strukturierten Eingabe.

Fehlerkriterien

  • Die getrimmte Ausgabe ist nicht exakt 63.
  • Die Antwort enthält Erläuterungen wie Der Zielwert ist, eine Einheit, Rechenschritte oder weitere Zahlen.
  • Die Zahl ist durch Markdown, Codezäune, Fettschrift, Anführungszeichen, XML- beziehungsweise HTML-Tags oder sonstiges Markup umgeben.
  • Die Antwort enthält Satzzeichen wie 63. oder eine alternative numerische Schreibweise wie 63,0.

Judge-Hinweis: Dieser Fall ist trotz answer_mode llm_judge_rule deterministisch zu bewerten. Zulässig ist ausschließlich das Trimmen äußerer Unicode-Leerraumzeichen; der übrige Antwortstring muss 63 sein. Das Format HTML betrifft nur die Darstellung des Prompts und rechtfertigt kein Markup in der Antwort.

Prompt

<html>
  <body>

    <h2>Abschnitt A Inhaltliche Einordnung</h2>
    <ul>
      <li>Hund: Fellpunkte 14, Ruheindex 7</li>
      <li>Katze: Fellpunkte 9, Ruheindex 11</li>
      <li>Papagei: Fellpunkte 6, Ruheindex 5</li>
    </ul>

    <h2>Abschnitt B Semantische Regeln</h2>
    <ol>
      <li>Addiere für jedes Tier Fellpunkte und Ruheindex.</li>
      <li>Vergleiche alle berechneten Summen.</li>
      <li>Finde die höchste Summe.</li>
      <li>Der Zielwert ist höchste Summe mal Anzahl der Tiere.</li>
    </ol>

    <h2>Abschnitt C Ausgabeformat</h2>
    <ul>
      <li>Gib ausschließlich den Zielwert aus.</li>
      <li>Keine Begründung. Kein Text. Keine Einheit.</li>
      <li>Jede Abweichung ist ein Fehler.</li>
    </ul>

    <h2>Abschnitt D Beispiel</h2>
    <p>Anzahl Tiere ist 3.</p>
    <p>Höchste Summe ist Hund mit 14 plus 7 ergibt 21.</p>
    <p>Zielwert ist 21 mal 3 ergibt 63.</p>

    <h2>Aufgabe</h2>
    <p>Ermittle den Zielwert exakt nach Abschnitt B und gib ihn gemäß Abschnitt C zurück.</p>

  </body>
</html>
824 Runs 815 bewertet 20.9 % Score 19.6 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am