JatsFullArticle im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob ein Modell ein vollständig aufgebautes JATS Dokument korrekt erzeugen kann. Erwartet wird ein formal gültiger wissenschaftlicher Artikel mit allen wesentlichen Komponenten. Das Modell muss die Struktur gemäß NISO JATS nachvollziehen und ein konsistentes XML erzeugen. Zusätzlich wird überprüft, ob die angeforderte JATS Version korrekt angewendet wird.
| Quelldatei | JatsFullArticle.txt |
|---|---|
| Serie | 1 |
| Kategorien | xml, jats, structure |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | 9b51988125cde66fb0c9e67ea4393a0345ca6d016e3935fdbcf2a1c8cd99fea4 |
Erwartetes Ergebnis
Valides und inhaltlich vollständiges JATS 1.1 Artikeldokument gemäß den Prüfkriterien.
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe Wohlgeformtheit, JATS 1.1 Konformität, Vollständigkeit der Hauptbereiche und die geforderten Anzahlen.
Muss erfüllt sein
- Die Ausgabe ist wohlgeformtes XML und enthält keine erklärende Prosa außerhalb des XML.
- Das Wurzelelement ist article und die Ausgabe weist JATS 1.1 durch dtd-version='1.1', einen passenden JATS 1.1 DOCTYPE oder eine passende Schemaangabe aus.
- front enthält journal-meta und article-meta.
- article-meta enthält mindestens title-group mit article-title sowie abstract.
- body enthält mindestens zwei sec Elemente mit jeweils sinnvoll befülltem Inhalt und mindestens einem p.
- back enthält ref-list mit genau drei ref Elementen.
- Verwendete IDs und Verweise sind konsistent.
Fehlerkriterien
- ref-list steht nicht im back.
- Ein Hauptbereich oder eine geforderte Anzahl fehlt.
- Die Ausgabe ist nur generisches XML oder behauptet lediglich, JATS zu sein.
- Das Fehlen eines Defaultnamensraums wird allein als Fehler gewertet, obwohl eine gültige DTD basierte JATS Instanz vorliegt.
Judge-Hinweis: JATS Instanzen können abhängig von der gewählten Validierungsform ohne Defaultnamensraum vorkommen. Entscheidend ist die tatsächliche JATS 1.1 Konformität.
Prompt
Erstelle unter content ein vollständiges JATS XML Dokument eines wissenschaftlichen Artikels. Verwende die JATS Version 1.1 (oasis-variant). Erforderliche Bestandteile article front journal-meta article-meta title-group abstract body mindestens zwei sec Elemente mit Absätzen references Sektion mit drei Einträgen Verwende gültige JATS Tags und den richtigen Namensraum. Achte auf korrekte Strukturierung im Sinne der NISO JATS Vorgaben. Gib ausschließlich das JATS Dokument zurück.
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.