LomFullRecord im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob ein Modell ein vollständiges IEEE LOM Dokument erzeugen kann. Erwartet werden alle grundlegenden LOM Kategorien mit eindeutig befüllten Beispielwerten. Entscheidend ist die korrekte Struktur gemäß IEEE LOM.
| Quelldatei | LomFullRecord.txt |
|---|---|
| Serie | 1 |
| Kategorien | xml, lom, structure |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | 591a43dae21375215106ee1844b5061f6c9a51b15c046601c151cacbb7356105 |
Erwartetes Ergebnis
Valides vollständiges IEEE LOM XML mit allen neun Hauptkategorien und befüllten Kernangaben.
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe die vollständige IEEE LOM Struktur, korrekte Groß und Kleinschreibung und alle neun Hauptkategorien.
Muss erfüllt sein
- Die Ausgabe ist wohlgeformtes XML ohne erklärende Prosa außerhalb des XML.
- Das Wurzelelement lom verwendet den für die gewählte IEEE LOM XML Bindung vorgesehenen LOM Namensraum und ist gegen diese Grammatik validierbar.
- Alle neun Hauptkategorien sind vorhanden und sinnvoll befüllt: general, lifeCycle, metaMetadata, technical, educational, rights, relation, annotation und classification.
- general enthält mindestens identifier und title.
- lifeCycle enthält mindestens version und status.
- technical enthält mindestens format und size.
- educational enthält mindestens interactivityType und learningResourceType.
- rights enthält mindestens cost, copyrightAndOtherRestrictions und description.
- Sprachabhängige Texte sind gemäß der verwendeten LOM XML Bindung korrekt als LangString beziehungsweise string modelliert.
Fehlerkriterien
- Eine der neun Hauptkategorien fehlt.
- Elementnamen haben falsche Groß und Kleinschreibung oder sind frei erfunden.
- Die Kernangaben der geforderten Kategorien fehlen.
- Das Dokument ist nicht gegen die angegebene IEEE LOM XML Bindung validierbar.
Prompt
Erstelle unter content ein vollständiges IEEE LOM XML Dokument für ein Lernobjekt. Erforderliche Bestandteile General mit Identifier Title Lifecycle mit Version Status Technical mit Format Size Educational mit InteractivityType LearningResourceType Rights Fülle alle Bereiche mit sinnvollen Beispielwerten. Nutze gültige IEEE LOM Struktur und Namensraum http://ltsc.ieee.org/xsd/LOM Gib ausschließlich das LOM Dokument zurück. # content
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.