CompareSpecialCharsDita im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob ein Modell zwei Texte in DITA korrekt inhaltlich miteinander vergleicht, obwohl im ersten Dokument verschiedene Sonderzeichen vorkommen. Entscheidend ist, dass der Satzkern identifiziert und die Übereinstimmung ausschließlich als 1 oder 0 bewertet wird.

QuelldateiCompareSpecialCharsDita.txt
Serie1
Kategoriendita, xml, hyphens
BewertungDeterministisch
Prompt SHA-25687f884ec51b20aaaa48b1ddccec22fe76169af8bb2b42156a11fb01ba9be54f5
Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.

Erwartetes Ergebnis

1

Erwartung im Katalognein
Korrektes Ergebnis im Katalognein

Prompt

<topic id="compare-special" xmlns="http://dita.oasis-open.org/architecture/2005/">
  <title>Dokumentenvergleich mit Sonderzeichen</title>

  <section>
    <title>Dokument A</title>
    <p>Titel: Testtext mit Sonderzeichen</p>
    <p>Dies ist ein Satz mit geschützten Leerzeichen: Wort A und Wort B.</p>
    <p>Dies ist ein Satz mit schmalen Abständen: Wort C und Wort D.</p>
    <p>Alpha Beta.</p>
    <p>Soft Hyphens: infor­mation, kom­bi­nier­bar, trans­pa­rent.</p>
    <p>Zeile eins↵ Zeile zwei.</p>
  </section>

  <section>
    <title>Dokument B</title>
    <p>Titel: Testtext ohne Sonderzeichen</p>
    <p>Dies ist ein Satz mit normalen Leerzeichen: Wort A und Wort B.</p>
    <p>Dies ist ein Satz mit einfachen Leerzeichen: Wort C und Wort D.</p>
    <p>Alpha Beta.</p>
    <p>Soft Hyphens entfernt: information, kombinierbar, transparent.</p>
    <p>Zeile eins Zeile zwei.</p>
  </section>

  <section>
    <title>Aufgabe</title>
    <p>Vergleiche Satzkern und gib nur 1 oder 0 aus.</p>
  </section>
</topic>
810 Runs 782 bewertet 62.5 % Score 6.7 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am