NisoStsSample im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob ein Modell ein korrekt strukturiertes NISO STS Dokument erzeugen kann. Gefordert sind typische Elemente eines Standards, darunter Metadaten, Identifikatoren, Titelangaben, Scope, Definitions und mehrere requirement Elemente. Zusätzlich wird bewertet, ob das Modell die richtige STS Version und den offiziellen Namensraum anwendet.
| Quelldatei | NisoStsSample.txt |
|---|---|
| Serie | 1 |
| Kategorien | xml, sts, structure |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | 1f80cbebefd050cd75774d88522c344a7c5d8d04a1f199e928ba023fd50e7171 |
Erwartetes Ergebnis
Valides NISO STS 1.0 Standarddokument mit Metadaten, Scope, Definitionen und mehreren normativen Anforderungen.
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe die tatsächliche NISO STS 1.0 Konformität und die semantisch geforderten Bestandteile. Erzwinge keine nicht standardisierten Elementnamen aus der Kurzbeschreibung.
Muss erfüllt sein
- Die Ausgabe ist wohlgeformtes XML ohne erklärende Prosa außerhalb des XML.
- Das Wurzelelement ist standard und die Ausgabe ist als NISO STS 1.0 Instanz ausgewiesen oder validierbar.
- front enthält std-doc-meta und mindestens einen geeigneten organisationsbezogenen Metadatenblock wie std-meta.
- Standardnummer beziehungsweise Identifikator, Titel und Ausgabe beziehungsweise Edition sind mit gültigem STS Vokabular modelliert.
- body enthält einen klar erkennbaren Scope Abschnitt.
- Definitionen werden mit gültigen STS Strukturen wie def-list, def-item, term und def oder einer gleichwertigen validen STS Modellierung dargestellt.
- Mindestens zwei normative Anforderungsformulierungen sind mit gültigen STS Strukturen beziehungsweise Attributen ausgezeichnet.
Fehlerkriterien
- Nicht standardisierte Elemente wie frei erfundene requirement, doc-ident oder doc-title werden verwendet, sofern sie in der gewählten STS Grammatik nicht zulässig sind.
- Die Ausgabe ist lediglich generisches XML mit STS ähnlichen Namen.
- Scope, Definitionen oder mehrere Anforderungen fehlen.
Prompt
Erstelle unter content ein vollständiges NISO STS XML Dokument. Verwende die NISO STS Version 1.0 und den offiziellen STS Namensraum. Erforderliche Bestandteile standard std-meta doc-ident doc-number doc-title doc-edition scope definitions ein Abschnitt mit mehreren requirement Elementen Alle Elemente sollen sinnvoll befüllt sein. Achte auf korrekte Strukturierung und gültiges STS Datenmodell. Gib ausschließlich das XML Dokument zurück. # content
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.