BitsFullChapter im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob ein Modell ein vollständig aufgebautes BITS Kapitel korrekt erzeugen kann. Erwartet wird ein formal gültiges XML gemäß NISO BITS. Gefordert sind die typischen Strukturelemente einschließlich book-part, book-part-meta, title, abstract, mehreren Abschnitten, einer Abbildung und einer Tabelle. Zusätzlich wird überprüft, ob die korrekte BITS Version und der offizielle Namensraum verwendet werden.
| Quelldatei | BitsFullChapter.txt |
|---|---|
| Serie | 1 |
| Kategorien | xml, bits, structure |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | 195e5c121cef617ad84cfd227494364b859f6c492c44bf69e8d588fb2c800794 |
Erwartetes Ergebnis
Valides und vollständiges BITS 2.0 Kapitel gemäß den Prüfkriterien.
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe ein echtes BITS 2.0 Kapitel mit Metadaten, Abschnitten, Abbildung und Tabelle.
Muss erfüllt sein
- Die Ausgabe ist wohlgeformtes XML ohne erklärende Prosa außerhalb des XML.
- Es liegt ein gültiges BITS 2.0 book-part vor, entweder als Wurzelelement oder in einem zulässigen BITS Buchcontainer.
- Die Version 2.0 ist durch dtd-version, DOCTYPE oder Schemaangabe nachvollziehbar.
- book-part-meta enthält einen Kapiteltitel und einen abstract.
- Der Kapitelkörper enthält mindestens zwei sec Elemente mit Textabsätzen.
- Eine fig enthält caption und graphic mit einer konsistenten xlink:href Referenz.
- Eine Tabelle ist standardgerecht, vorzugsweise als table-wrap mit table, thead und tbody, modelliert.
Fehlerkriterien
- Die Ausgabe verwendet nur frei erfundene oder generische Elemente statt BITS.
- Abbildung, Tabelle, Abstract oder die zwei Abschnitte fehlen.
- graphic verwendet xlink ohne korrekte Deklaration oder ohne Zielangabe.
Prompt
Erzeuge unter content ein vollständiges BITS XML Kapitel. Verwende die BITS Version 2.0 (oasis-variant) und den offiziellen BITS Namensraum. Erforderliche Bestandteile book-part book-part-meta title abstract zwei sections mit Überschrift und Text eine Figure mit caption und graphic Element eine Tabelle mit thead und tbody Achte auf die korrekte Strukturierung gemäß BITS Vorgaben. Gib ausschließlich das BITS Dokument zurück.
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.