Qti3MultipleChoice im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob ein Modell ein formal korrektes QTI 3 Item erzeugen kann. Gefordert sind responseDeclaration, outcomeDeclaration, eine Multiple Choice Interaction mit vier Optionen, eine korrekte Lösung, vollständiges responseProcessing und Metadaten. Zusätzlich wird bewertet, ob der qti-assessment-item Namensraum und die Kompatibilitätsanforderungen von QTI 3 korrekt umgesetzt werden.
| Quelldatei | Qti3MultipleChoice.txt |
|---|---|
| Serie | 1 |
| Kategorien | xml, qti, structure |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | d6231961238d83909fcf61920c428414894c914b9ff334e1a6b072e1b4174d4d |
Erwartetes Ergebnis
Valides QTI 3 Multiple Choice Item mit vier Optionen, korrekter Lösung, Auswertung und Metadaten.
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe QTI 3 Syntax mit den hyphenisierten QTI 3 Elementnamen, konsistenten Identifikatoren und funktionierender Auswertungslogik.
Muss erfüllt sein
- Die Ausgabe ist wohlgeformtes XML ohne erklärende Prosa außerhalb des XML.
- Das Wurzelelement ist qti-assessment-item im Namensraum http://www.imsglobal.org/xsd/imsqtiasi_v3p0.
- Das Item besitzt gültige Pflichtattribute wie identifier, title, adaptive und time-dependent.
- Eine qti-response-declaration mit cardinality='single' und base-type='identifier' definiert eine richtige Antwort.
- Eine qti-outcome-declaration für SCORE oder ein gleichwertiges Ergebnis ist vorhanden.
- qti-item-body enthält genau eine qti-choice-interaction mit genau vier eindeutig identifizierten qti-simple-choice Elementen und max-choices='1'.
- response-identifier, correct-response und Auswahlidentifikatoren stimmen überein.
- qti-response-processing vergibt das Ergebnis bei richtiger Antwort, entweder über eine gültige Vorlage oder vollständige explizite Regeln.
- Die geforderten Metadaten sind vorhanden.
Fehlerkriterien
- QTI 2 ähnliche camelCase Elementnamen wie responseDeclaration oder choiceInteraction werden statt QTI 3 Elementnamen verwendet.
- Die richtige Antwort verweist auf keine vorhandene Option.
- Es gibt nicht genau vier Optionen oder keine funktionsfähige Auswertungslogik.
- Der Namensraum ist falsch.
Prompt
Erstelle unter content ein vollständiges QTI 3 kompatibles Item. Verwende den qti-assessment-item Namensraum: https://www.imsglobal.org/xsd/imsqtiasi_v3p0 Erforderliche Bestandteile responseDeclaration mit korrekter richtigen Lösung outcomeDeclaration eine interaction mit vier Antwortoptionen voll funktionsfähiges responseProcessing metadata gültige IDs und konsistente Referenzen Es soll eine Multiple Choice Aufgabe sein. Gib ausschließlich das QTI 3 Item zurück. # content
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.