JATS_Literature_ShortText_ClearSection im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob ein Modell bei einem kurzen wissenschaftlichen Text mit klar abgegrenzter Literatursektion zuverlässig alle Literaturangaben erkennt und korrekt als JATS XML ausgibt.

QuelldateiJATS_Literature_ShortText_ClearSection.txt
Serie3
Kategorienxml, jats, semantics
BewertungLLM-Judge
Prompt SHA-25642961d916f1d2092f0ec7005b950815522fa183d27ad713864d49866cd9511d8
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

[5]MaierK.2020Grundlagen digitaler WissensmodelleFiktiver WissenschaftsverlagHamburg[6]LangM.2019Semantische Strukturen in InformationssystemenJournal of Imaginary Informatics423348

Erwartung im Katalogja
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Prüfe die XML- und JATS-Struktur sowie die vollständige feldweise Wiedergabe der Referenzen [5] und [6]. Titel, Abstract, Haupttext und die Literaturüberschrift dürfen nicht als Referenzen erscheinen.

Muss erfüllt sein

  • Die Ausgabe besteht ausschließlich aus wohlgeformtem XML; entfernbare Markdown-Codezäune sind zulässig, zusätzliche Prosa nicht.
  • Das Wurzelelement ist ref-list und enthält genau zwei ref-Einträge in der Reihenfolge [5], [6]. Beide besitzen das korrekte label und eine element-citation.
  • Die Autoren sind als person-group person-group-type="author" mit name, surname und given-names strukturiert.
  • [5] ist als Buch modelliert und enthält Maier, K.; 2020; Grundlagen digitaler Wissensmodelle; Fiktiver Wissenschaftsverlag; Hamburg in den passenden JATS-Elementen.
  • [6] ist als Zeitschriftenartikel modelliert und enthält Lang, M.; 2019; article-title Semantische Strukturen in Informationssystemen; source Journal of Imaginary Informatics; volume 4; issue 2; Seiten 33 bis 48.
  • Es werden ausschließlich die beiden vollständigen Literaturangaben aus der Literatursektion ausgegeben.

Fehlerkriterien

  • Die Ausgabe ist kein parsebares XML, enthält Prosa oder besitzt keine einzelne ref-list als Wurzel.
  • Eine Referenz fehlt, ist doppelt, trägt ein falsches label, steht in falscher Reihenfolge oder es werden zusätzliche Textabschnitte als Referenzen ausgegeben.
  • element-citation oder die semantischen Autoren-, Titel-, Jahres- und Publikationsfelder fehlen und die Angaben stehen nur als unstrukturierter Text.
  • Bei [5] fehlen oder stimmen Autor, Jahr, Buchtitel, Verlag oder Ort nicht.
  • Bei [6] fehlen oder stimmen Autor, Jahr, Artikeltitel, Zeitschrift, Band, Heft oder Seiten 33 bis 48 nicht.

Judge-Hinweis: Whitespace, Einrückung, XML-Deklaration, Attributreihenfolge und konkrete ref-id-Werte sind nicht zu bewerten. Für publication-type sind semantisch gleichwertige JATS-Werte zulässig. Der Seitenbereich kann mit fpage/lpage oder gleichwertig gültig modelliert sein.

Prompt

Du erhältst einen kurzen wissenschaftlichen Text.

Aufgabe
Erfasse ausschließlich die Literaturangaben.
Ignoriere Titel, Abstract und Fließtext.
Gib nur die Literaturangaben als JATS XML aus.

Formatvorgaben
Nutze ref-list und ref.
Nutze element-citation.
Verwende alle passenden JATS-Tags.

Text
[1] Titel
Digitale Wissensmodelle im Überblick

[2] Abstract
Der Text beschreibt grundlegende Konzepte digitaler Wissensrepräsentation.

[3] Haupttext
Es werden keine Quellen im Text selbst genannt.

[4] Literatur

[5] Maier, K. 2020. Grundlagen digitaler Wissensmodelle. Fiktiver Wissenschaftsverlag, Hamburg.

[6] Lang, M. 2019. Semantische Strukturen in Informationssystemen. Journal of Imaginary Informatics 4, 2, 33 bis 48.
713 Runs 701 bewertet 37.4 % Score 13.3 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am