DocbookFullBook im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob ein Modell ein vollständiges DocBook 5 Dokument korrekt erzeugen kann. Es soll ein vollständiges book Element mit Metadaten, mehreren Kapiteln, verschachtelten Abschnitten, einem Codebeispiel und einer Tabelle entstehen. Bewertet wird zusätzlich, ob die korrekte DocBook Version und der offizielle Namensraum verwendet werden.
| Quelldatei | DocbookFullBook.txt |
|---|---|
| Serie | 1 |
| Kategorien | xml, docbook, structure |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | 525e7f077a338f77c32caab53f001350cc212727b7b4e3a7e0048e0e78767590 |
Erwartetes Ergebnis
Valides DocBook 5.2 Buch mit Metadaten, mehreren Kapiteln, verschachtelten Abschnitten, Codebeispiel und Tabelle.
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe ein echtes DocBook 5.2 Dokument im DocBook Namensraum und nicht nur XML mit ähnlich benannten Elementen.
Muss erfüllt sein
- Die Ausgabe ist wohlgeformtes XML ohne erklärende Prosa außerhalb des XML.
- Das Wurzelelement ist book im Namensraum http://docbook.org/ns/docbook und version='5.2' ist angegeben.
- book enthält info mit title und author.
- Es gibt mindestens zwei chapter Elemente.
- Mindestens ein Kapitel enthält verschachtelte section Elemente auf wenigstens zwei Ebenen.
- Ein programlisting enthält ein plausibles Codebeispiel.
- Eine DocBook Tabelle enthält eine gültige CALS Struktur mit tgroup, thead, tbody, row und entry.
Fehlerkriterien
- Der DocBook Namensraum oder die Version fehlt.
- Veraltete Abschnittselemente werden verwendet, wenn dadurch DocBook 5.2 nicht valide ist.
- Kapitel, Codebeispiel oder Tabelle fehlen.
- Die Ausgabe ist nicht gegen eine DocBook 5.2 Grammatik validierbar.
Prompt
Erzeuge unter content ein vollständiges DocBook 5 Dokument. Root Element ist book. Verwende DocBook 5.2 und den offiziellen DocBook Namensraum. Erforderliche Bestandteile info title author mehrere Kapitel mit sect1 und sect2 ein Beispielcodeblock mit programlisting eine Tabelle mit table, tgroup, thead und tbody Achte auf valide Struktur gemäß DocBook 5.2. Gib ausschließlich das DocBook Dokument zurück. # content
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.