CompareSpecialCharsDocuments im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob ein Modell zwei Texte korrekt inhaltlich miteinander vergleicht, obwohl im ersten Dokument verschiedene Sonderzeichen vorkommen. Entscheidend ist, dass der Satzkern identifiziert und die Übereinstimmung ausschließlich als 1 oder 0 bewertet wird.
| Quelldatei | CompareSpecialCharsDocuments.txt |
|---|---|
| Serie | 1 |
| Kategorien | text, hyphens, semantics |
| Bewertung | Deterministisch |
| Prompt SHA-256 | 8eea6bdfbb1ee5036bca70fcc2d7c33005b6d3fc804ff5b07ef1deaf40f5f143 |
Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.
Erwartetes Ergebnis
1
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | nein |
Prompt
================================ Dokument mit Sonderzeichen Titel: Testtext mit Sonderzeichen Abschnitt 1 Dies ist ein Satz mit geschützten Leerzeichen: Wort A und Wort B. Dies ist ein Satz mit schmalen Abständen: Wort C und Wort D. Dies ist ein Satz mit einem Viertelgeviert: Alpha Beta. Abschnitt 2 Soft Hyphens an mehreren Stellen: information, kombinierbar, transparent. Abschnitt 3 Ein kurzer Zeilenumbruchtest: Zeile eins↵ Zeile zwei. ================================ Dokument ohne Sonderzeichen Titel: Testtext ohne Sonderzeichen Abschnitt 1 Dies ist ein Satz mit normalen Leerzeichen: Wort A und Wort B. Dies ist ein Satz mit normalen Leerzeichen: Wort C und Wort D. Dies ist ein Satz mit einfachem Leerzeichen: Alpha Beta. Abschnitt 2 Soft Hyphens entfernt: information, kombinierbar, transparent. Abschnitt 3 Ein kurzer Zeilenumbruchtest: Zeile eins Zeile zwei. ================================ Prompt zur automatischen Prüfung Aufgabe Du erhältst zwei Dokumente, Dokument A und Dokument B. Dokument A enthält Sonderzeichen wie geschützte Leerzeichen, schmale Leerzeichen, Viertelgeviert, Soft Hyphens und den Zeilenumbruchmarker. Dokument B enthält denselben Inhalt, jedoch ohne diese Sonderzeichen. Ziel Bestätige, ob in beiden Dokumenten derselbe inhaltliche Satzkern vorkommt. Ausgabeformat 1 wenn die Inhalte übereinstimmen 0 wenn die Inhalte nicht übereinstimmen Form der Antwort Nur die Zahl ohne Zusatztext.
845 Runs
840 bewertet
80.3 % Score
56.7 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.