DitaLearningObject im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob ein Modell ein vollständiges DITA Learning and Training Dokument erzeugen kann. Gefordert ist ein L1 Learning Object mit typischen LT Strukturelementen wie learningOverview, learningObjectives, learningSummary, knowledgeCheck und passenden Lernmetadaten. Bewertet wird zusätzlich, ob der LT Namensraum und die konforme DITA LT Struktur korrekt angewendet werden.
| Quelldatei | DitaLearningObject.txt |
|---|---|
| Serie | 1 |
| Kategorien | xml, ditalt, learning |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | b55b2bc8cfbae1bad0332e98f0a580a86673b99318cd2c5a85df76849193a846 |
Erwartetes Ergebnis
Valides DITA Learning and Training Lernobjekt mit Overview, Content, Lernzielen, Summary, Assessment und Lernmetadaten.
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe echte DITA Learning and Training Strukturen. Interpretiere knowledgeCheck semantisch als Assessment und verlange kein nicht standardisiertes Literallement.
Muss erfüllt sein
- Die Ausgabe besteht aus wohlgeformtem XML ohne erklärende Prosa außerhalb des XML.
- Eine learningObjectMap enthält mindestens ein learningObject oder eine gleichwertige, gegen eine DITA Learning and Training Grammatik valide Lernobjektstruktur.
- Das Lernobjekt referenziert beziehungsweise enthält learningOverview, mindestens einen learningContent Bestandteil und learningSummary.
- Lernziele sind mit dafür vorgesehenen Learning and Training Elementen modelliert.
- Ein Wissenscheck ist als valides learningAssessment beziehungsweise pre oder post assessment mit mindestens einer Frage und mehreren Antwortmöglichkeiten umgesetzt.
- Passende Lernmetadaten sind vorhanden.
- Alle href Referenzen und IDs sind konsistent.
Fehlerkriterien
- Ein frei erfundenes knowledgeCheck Element wird ohne deklarierte gültige Spezialisierung verwendet.
- Ein erfundener DITA Learning and Training Namensraum wird verlangt oder verwendet.
- Overview, Lernziele, Summary, Assessment oder Lernmetadaten fehlen.
- Die Struktur ist nicht gegen eine passende DITA Learning and Training Grammatik validierbar.
Prompt
Erstelle unter content ein vollständiges DITA Learning and Training Dokument (L1 Learning Object). Verwende den LT Namensraum: http://dita.oasis-open.org/architecture/2005/ Erforderliche Bestandteile learningOverview learningObjectives learningSummary knowledgeCheck Abschnitt mit einer Frage mehreren Antwortmöglichkeiten zusätzliche typische Lernmetadaten Achte auf gültige DITA Learning and Training Struktur. Gib ausschließlich das DITA LT Dokument zurück. # content
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.