BITS_Metadata_DOI_URL im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob DOI und URL korrekt als book-id Elemente in BITS XML ausgegeben werden. Beide Identifikatoren müssen getrennt und mit Fundstellen modelliert werden.

QuelldateiBITS_Metadata_DOI_URL.txt
Serie3
Kategorienxml, bits, metadata
BewertungLLM-Judge
Prompt SHA-256a2dd38a3d0418c25f737f7a7934e7a8eb1dfd0f6cf0b848231da359d089b3b8a
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

Digitale Wissensökologien[1]HahnMichael[2]Open Research Press[3]2022[3] 10.1234/fiktiv.2022.001 [4] https://www.openresearchpress.example/book/001 [5]en

Erwartung im Katalogja
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Prüfe BITS-Namespace, book/book-meta-Hierarchie und sämtliche Metadaten. DOI und URL müssen als getrennte book-id-Elemente mit den vorgesehenen book-id-type-Werten und Fundstellen modelliert sein.

Muss erfüllt sein

  • Die Ausgabe besteht ausschließlich aus wohlgeformtem XML; entfernbare Markdown-Codezäune sind zulässig, zusätzliche Prosa nicht.
  • Das Wurzelelement book und alle BITS-Strukturelemente verwenden den Namespace http://jats.nlm.nih.gov/extensions/bits/2.0; genau ein book-meta ist vorhanden.
  • book-title-group enthält book-title Digitale Wissensökologien und xref [1].
  • contrib-group enthält genau ein contrib mit contrib-type="author"; name ist in surname Hahn und given-names Michael aufgeteilt, und der contrib trägt xref [2].
  • publisher enthält publisher-name Open Research Press und xref [3]; pub-date enthält year 2022 und xref [3].
  • Genau ein book-id mit book-id-type="doi" enthält als Identifikator 10.1234/fiktiv.2022.001 und ein zugehöriges xref [4].
  • Genau ein weiteres book-id mit book-id-type="uri" enthält https://www.openresearchpress.example/book/001 und ein zugehöriges xref [5].
  • language enthält en. Eine Fundstelle [1] am Sprachfeld ist gemäß Prompt erwünscht; ihr Fehlen allein ist wegen der bestehenden Referenzserialisierung ohne xref kein Ausschlussgrund.
  • Der Beispiel-DOI 10.1000/xyz123 und sonstige nicht zum Zieldatensatz gehörende Inhalte erscheinen nicht.

Fehlerkriterien

  • Das XML ist nicht parsebar, enthält Prosa, verwendet einen falschen BITS-Namespace oder besitzt keine book/book-meta-Struktur.
  • Titel, Autor, Verlag, Jahr oder Sprache fehlt oder enthält einen falschen Wert.
  • DOI und URL fehlen, sind in einem einzigen book-id zusammengeführt oder es gibt zusätzliche book-id-Elemente.
  • Der DOI verwendet nicht book-id-type="doi", die URL verwendet nicht book-id-type="uri", oder die Werte beziehungsweise Fundstellen [4] und [5] sind falsch.
  • Autorname ist nicht in Hahn und Michael aufgeteilt, oder die Fundstellen [1] bis [3] fehlen beziehungsweise sind falsch zugeordnet.
  • Der Beispiel-DOI oder frei erfundene Metadaten werden übernommen.

Judge-Hinweis: Einrückung, XML-Deklaration, Attributreihenfolge und Reihenfolge unabhängiger Metadatenelemente sind nicht zu bewerten. Für die URL ist book-id-type="uri" maßgeblich, nicht url. Der direkte Textinhalt des book-id darf durch Whitespace um das xref unterbrochen sein; nach Zusammenfassung der Textknoten muss der exakte Identifikator entstehen.

Prompt

Du erhältst einen Text mit bibliografischen Angaben inklusive DOI und URL.

Aufgabe
Erfasse ausschließlich bibliografische Metadaten.
Gib sie als BITS XML aus.
DOI und URL müssen als separate book-id Elemente ausgegeben werden.
Jede Angabe muss eine Fundstelle in eckigen Klammern enthalten.

Beispiel
Text
[1] Titel
Open Science Handbook
[2] DOI
10.1000/xyz123

Ausgabe
<book-id book-id-type="doi">
  10.1000/xyz123
  <xref ref-type="fundstelle">[2]</xref>
</book-id>

Text
[1] Digitale Wissensökologien
[2] Michael Hahn
[3] Open Research Press 2022
[4] DOI
10.1234/fiktiv.2022.001
[5] URL
https://www.openresearchpress.example/book/001
827 Runs 805 bewertet 38.3 % Score 1.0 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am