SemanticSimpleSumHtml im LLM-Testsuite-Report
Testfallbeschreibung
HTML Variante des einfachen Summenprompts.
| Quelldatei | SemanticSimpleSumHtml.txt |
|---|---|
| Serie | 1 |
| Kategorien | html, semantics |
| Bewertung | Deterministisch |
| Prompt SHA-256 | 87a930a0c5e78476d9b15466ec9e9d95d61f828e0659b8d2e78fdaf043f7b50c |
Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.
Erwartetes Ergebnis
17
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | nein |
Prompt
<html>
<body>
<h2>Abschnitt A Daten</h2>
<p>Die Werte sind 5 und 12.</p>
<h2>Abschnitt B Regel</h2>
<p>Addiere beide Werte zu einer Gesamtsumme.</p>
<h2>Abschnitt C Ausgabe</h2>
<p>Gib ausschließlich die Gesamtsumme aus.</p>
<h2>Beispiel</h2>
<p>Wenn die Werte 2 und 3 wären, wäre die Ausgabe 5.</p>
<h2>Aufgabe</h2>
<p>Berechne die Gesamtsumme aus Abschnitt A und gib sie gemäß Abschnitt C aus.</p>
</body>
</html>
732 Runs
722 bewertet
51.2 % Score
11.9 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.