MARC21_Metadata_DOI_URL im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob DOI und URL korrekt als Identifikatoren im MARC21 Format modelliert werden. Beide müssen getrennt und mit Fundstellen ausgegeben werden.

QuelldateiMARC21_Metadata_DOI_URL.txt
Serie3
Kategorienxml, marc21, metadata
BewertungLLM-Judge
Prompt SHA-256e880066614bc1fbf428b85ba63230cadaf21b185de22dcd721f5012bcc1e13fc
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

00000nam a2200000 a 4500Digitale Wissensökologien[1]Hahn, Michael[2]Open Research Press2022[3]10.1234/fiktiv.2022.001doi[4]https://www.openresearchpress.example/book/001[5]

Erwartung im Katalogja
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Prüfe MARC21-Slim-Namespace, Leader, Pflichtfelder, Indikatoren und Subfields. Insbesondere müssen DOI und URL in den fachlich richtigen, voneinander getrennten MARC-Feldern mit den korrekten Fundstellen stehen.

Muss erfüllt sein

  • Die Ausgabe besteht ausschließlich aus wohlgeformtem XML; entfernbare Markdown-Codezäune sind zulässig, zusätzliche Prosa nicht.
  • Das Wurzelelement record und alle MARC-Elemente verwenden den Namespace http://www.loc.gov/MARC21/slim.
  • Der leader lautet exakt 00000nam a2200000 a 4500.
  • Feld 245 mit ind1="1" und ind2="0" enthält Digitale Wissensökologien in subfield a und [1] in subfield 9.
  • Feld 100 mit ind1="1" enthält Hahn, Michael in subfield a und [2] in subfield 9.
  • Feld 264 mit ind2="1" enthält Open Research Press in subfield b, 2022 in subfield c und [3] in subfield 9.
  • Genau ein Feld 024 mit ind1="7" enthält 10.1234/fiktiv.2022.001 in subfield a, doi in subfield 2 und [4] in subfield 9.
  • Genau ein Feld 856 mit ind1="4" und ind2="0" enthält https://www.openresearchpress.example/book/001 in subfield u und [5] in subfield 9.
  • DOI und URL sind nicht zusammengeführt, und der Beispiel-DOI 10.1000/xyz123 erscheint nicht.

Fehlerkriterien

  • Das XML ist nicht parsebar, enthält Prosa oder verwendet nicht den MARC21-Slim-Namespace.
  • Leader, Titel, Autor, Verlag oder Jahr fehlt oder steht in einem sachlich falschen MARC-Feld beziehungsweise Subfield.
  • Der DOI steht nicht als Roh-DOI in 024$a mit 024$2 doi oder die URL steht nicht in 856$u.
  • DOI und URL werden in demselben datafield ausgegeben, sind inhaltlich verändert oder tragen falsche Fundstellen.
  • Beispielwerte oder zusätzliche erfundene Identifikatoren beziehungsweise bibliografische Angaben werden übernommen.

Judge-Hinweis: Whitespace, XML-Deklaration und Attributreihenfolge sind nicht relevant. Der DOI muss in MARC 024$a als 10.1234/fiktiv.2022.001 stehen; eine doi.org-URL an dieser Stelle ist nicht gleichwertig, weil dadurch die geforderte MARC-Feldmodellierung verändert wird. Leere Indikatoren dürfen als einzelnes Leerzeichen serialisiert werden.

Prompt

Du erhältst einen Text mit bibliografischen Angaben inklusive DOI und URL.

Aufgabe
Erfasse ausschließlich bibliografische Metadaten.
Gib sie als MARC21 XML aus.
DOI und URL müssen als separate MARC21 Felder ausgegeben werden.
Jede Angabe muss eine Fundstelle in eckigen Klammern enthalten.

Beispiel
Text
[1] Titel
Open Science Handbook
[2] DOI
10.1000/xyz123

Ausgabe
<datafield tag="024">
  <subfield code="a">10.1000/xyz123</subfield>
  <subfield code="2">doi</subfield>
  <subfield code="9">[2]</subfield>
</datafield>

Text
[1] Digitale Wissensökologien
[2] Michael Hahn
[3] Open Research Press 2022
[4] DOI
10.1234/fiktiv.2022.001
[5] URL
https://www.openresearchpress.example/book/001
714 Runs 707 bewertet 22.5 % Score 2.0 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am