KI & XML / LLM-Testsuite / Resultate / Testcases / CompareSpecialCharsHtml

CompareSpecialCharsHtml im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob ein Modell zwei Texte in HTML korrekt inhaltlich miteinander vergleicht, obwohl im ersten Dokument verschiedene Sonderzeichen vorkommen. Entscheidend ist, dass der Satzkern identifiziert und die Übereinstimmung ausschließlich als 1 oder 0 bewertet wird.

Quelldatei	CompareSpecialCharsHtml.txt
Serie	1
Kategorien	html, hyphens
Bewertung	Deterministisch
Prompt SHA-256	98f726460673d4e64e17cee04c1aead3f0775f8475ffe78d580d43fbd3369c86

Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.

Erwartetes Ergebnis

1

Erwartung im Katalog	nein
Korrektes Ergebnis im Katalog	nein

Prompt

<html>
<body>

<h2>Dokument A</h2>
<p>Testtext mit Sonderzeichen</p>
<p>Wort A und Wort B</p>
<p>Wort C und Wort D</p>
<p>Alpha Beta</p>
<p>information kombinierbar transparent</p>
<p>Zeile eins↵ Zeile zwei.</p>

<h2>Dokument B</h2>
<p>Testtext ohne Sonderzeichen</p>
<p>Wort A und Wort B</p>
<p>Wort C und Wort D</p>
<p>Alpha Beta</p>
<p>information kombinierbar transparent</p>
<p>Zeile eins Zeile zwei.</p>

<h2>Aufgabe</h2>
<p>Vergleiche Satzkern und gib nur 1 oder 0 zurück.</p>

</body>
</html>

797 Runs 779 bewertet 60.4 % Score 6.3 % exakt korrekt

Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Modell Kategorie Zugangsweg

CompareSpecialCharsHtml im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob ein Modell zwei Texte in HTML korrekt inhaltlich miteinander vergleicht, obwohl im ersten Dokument verschiedene Sonderzeichen vorkommen. Entscheidend ist, dass der Satzkern identifiziert und die Übereinstimmung ausschließlich als 1 oder 0 bewertet wird.

Quelldatei	CompareSpecialCharsHtml.txt
Serie	1
Kategorien	html, hyphens
Bewertung	Deterministisch
Prompt SHA-256	98f726460673d4e64e17cee04c1aead3f0775f8475ffe78d580d43fbd3369c86

Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.

Erwartetes Ergebnis

1

Erwartung im Katalog	nein
Korrektes Ergebnis im Katalog	nein

Prompt

<html>
<body>

<h2>Dokument A</h2>
<p>Testtext mit Sonderzeichen</p>
<p>Wort A und Wort B</p>
<p>Wort C und Wort D</p>
<p>Alpha Beta</p>
<p>information kombinierbar transparent</p>
<p>Zeile eins↵ Zeile zwei.</p>

<h2>Dokument B</h2>
<p>Testtext ohne Sonderzeichen</p>
<p>Wort A und Wort B</p>
<p>Wort C und Wort D</p>
<p>Alpha Beta</p>
<p>information kombinierbar transparent</p>
<p>Zeile eins Zeile zwei.</p>

<h2>Aufgabe</h2>
<p>Vergleiche Satzkern und gib nur 1 oder 0 zurück.</p>

</body>
</html>

797 Runs 779 bewertet 60.4 % Score 6.3 % exakt korrekt

Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %. Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt. Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Modell Kategorie Zugangsweg

<html>
<body>

<h2>Dokument A</h2>
<p>Testtext mit Sonderzeichen</p>
<p>Wort A und Wort B</p>
<p>Wort C und Wort D</p>
<p>Alpha Beta</p>
<p>information kombinierbar transparent</p>
<p>Zeile eins↵ Zeile zwei.</p>

<h2>Dokument B</h2>
<p>Testtext ohne Sonderzeichen</p>
<p>Wort A und Wort B</p>
<p>Wort C und Wort D</p>
<p>Alpha Beta</p>
<p>information kombinierbar transparent</p>
<p>Zeile eins Zeile zwei.</p>

<h2>Aufgabe</h2>
<p>Vergleiche Satzkern und gib nur 1 oder 0 zurück.</p>

</body>
</html>