DitaFullTopic im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob ein Modell ein vollständiges DITA Topic Dokument erzeugen kann. Erwartet werden ein gültiges topic Element mit Metainformationen, Fließtext, Tabelle, Beispiel sowie eine korrekte task Struktur mit steps, stepresult und infos. Zusätzlich wird bewertet, ob die DITA Namensräume korrekt verwendet werden.
| Quelldatei | DitaFullTopic.txt |
|---|---|
| Serie | 1 |
| Kategorien | xml, dita, structure |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | 244568a89919abfb83f637e4957141a6f206a27737468ec7711f69d25d234955 |
Erwartetes Ergebnis
Valide DITA 1.3 Lösung, die generischen Topicinhalt und eine echte Taskstruktur standardkonform abbildet.
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Berücksichtige den Widerspruch der Kurzbeschreibung. Akzeptiere entweder ein valides task Topic mit allen sinnvoll zulässigen Inhalten oder einen dita Container mit getrenntem topic und task. Verlange keinen erfundenen DITA Defaultnamensraum.
Muss erfüllt sein
- Die Ausgabe ist wohlgeformtes XML ohne erklärende Prosa außerhalb des XML.
- Die Ausgabe ist durch einen passenden DITA 1.3 DOCTYPE, eine Schemaangabe oder eine gültige DITA Dokumenttypshell als DITA validierbar.
- Variante A ist zulässig: Wurzel task mit id, title, shortdesc und taskbody, darin context, steps, mindestens zwei step mit cmd sowie info und stepresult, ergänzt um die geforderten Tabellen und Beispielinhalte soweit in der gewählten Grammatik zulässig.
- Variante B ist zulässig: Wurzel dita mit einem separaten topic und einem separaten task. Das topic enthält title, shortdesc, body, mehrere p, table und example. Das task enthält taskbody, steps, step, cmd, info und stepresult.
- IDs sind eindeutig und Referenzen konsistent.
Fehlerkriterien
- Ein task wird unzulässig als Kind in ein generisches topic verschachtelt.
- Ein frei erfundener DITA Defaultnamensraum wird als Konformitätsmerkmal verwendet.
- steps, cmd, info oder stepresult fehlen.
- Die Ausgabe ist nicht gegen eine DITA 1.3 Grammatik validierbar.
Prompt
Erstelle unter content ein vollständiges DITA Topic Dokument. Verwende die offiziellen DITA Namensräume http://dita.oasis-open.org/architecture/2005/ Erforderliche Bestandteile topic mit id title shortdesc body mit mehreren Absätzen Tabelle Beispiel (example) am Ende eine task Struktur mit steps stepresult info oder infos Achte auf gültige DITA Struktur. Gib ausschließlich das DITA Dokument zurück. # content
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.