CompareSpecialCharsDocbook im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob ein Modell zwei Texte in docbook korrekt inhaltlich miteinander vergleicht, obwohl im ersten Dokument verschiedene Sonderzeichen vorkommen. Entscheidend ist, dass der Satzkern identifiziert und die Übereinstimmung ausschließlich als 1 oder 0 bewertet wird.
| Quelldatei | CompareSpecialCharsDocbook.txt |
|---|---|
| Serie | 1 |
| Kategorien | docbook, xml, hyphens |
| Bewertung | Deterministisch |
| Prompt SHA-256 | ca8839b7340e065add4161d1f53e294a3e4c99a40b0e2bb9e933906a4bb936e3 |
Erwartetes Ergebnis
1
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | nein |
Prompt
<book xmlns="http://docbook.org/ns/docbook" version="5.2">
<chapter>
<title>Dokument A</title>
<para>Testtext mit Sonderzeichen</para>
<para>Wort A und Wort B mit geschütztem Leerzeichen</para>
<para>Wort C und Wort D</para>
<para>Alpha Beta</para>
<para>Soft Hyphens: information kombinierbar transparent</para>
<para>Zeile eins↵ Zeile zwei.</para>
</chapter>
<chapter>
<title>Dokument B</title>
<para>Testtext ohne Sonderzeichen</para>
<para>Wort A und Wort B mit normalem Leerzeichen</para>
<para>Wort C und Wort D</para>
<para>Alpha Beta</para>
<para>information kombinierbar transparent</para>
<para>Zeile eins Zeile zwei.</para>
</chapter>
<chapter>
<title>Aufgabe</title>
<para>Vergleiche Satzkern. Ausgabe 1 oder 0.</para>
</chapter>
</book>
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.





