CompareSpecialCharsDocbook im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob ein Modell zwei Texte in docbook korrekt inhaltlich miteinander vergleicht, obwohl im ersten Dokument verschiedene Sonderzeichen vorkommen. Entscheidend ist, dass der Satzkern identifiziert und die Übereinstimmung ausschließlich als 1 oder 0 bewertet wird.

QuelldateiCompareSpecialCharsDocbook.txt
Serie1
Kategoriendocbook, xml, hyphens
BewertungDeterministisch
Prompt SHA-256ca8839b7340e065add4161d1f53e294a3e4c99a40b0e2bb9e933906a4bb936e3
Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.

Erwartetes Ergebnis

1

Erwartung im Katalognein
Korrektes Ergebnis im Katalognein

Prompt

<book xmlns="http://docbook.org/ns/docbook" version="5.2">
  <chapter>
    <title>Dokument A</title>
    <para>Testtext mit Sonderzeichen</para>
    <para>Wort A und Wort B mit geschütztem Leerzeichen</para>
    <para>Wort C und Wort D</para>
    <para>Alpha Beta</para>
    <para>Soft Hyphens: infor­mation kom­bi­nier­bar trans­pa­rent</para>
    <para>Zeile eins↵ Zeile zwei.</para>
  </chapter>

  <chapter>
    <title>Dokument B</title>
    <para>Testtext ohne Sonderzeichen</para>
    <para>Wort A und Wort B mit normalem Leerzeichen</para>
    <para>Wort C und Wort D</para>
    <para>Alpha Beta</para>
    <para>information kombinierbar transparent</para>
    <para>Zeile eins Zeile zwei.</para>
  </chapter>

  <chapter>
    <title>Aufgabe</title>
    <para>Vergleiche Satzkern. Ausgabe 1 oder 0.</para>
  </chapter>
</book>
799 Runs 784 bewertet 61.4 % Score 2.8 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am