MARC21_Metadata_DOI_URL im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob DOI und URL korrekt als Identifikatoren im MARC21 Format modelliert werden. Beide müssen getrennt und mit Fundstellen ausgegeben werden.
| Quelldatei | MARC21_Metadata_DOI_URL.txt |
|---|---|
| Serie | 3 |
| Kategorien | xml, marc21, metadata |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | e880066614bc1fbf428b85ba63230cadaf21b185de22dcd721f5012bcc1e13fc |
Erwartetes Ergebnis
00000nam a2200000 a 4500Digitale Wissensökologien[1]Hahn, Michael[2]Open Research Press2022[3]10.1234/fiktiv.2022.001doi[4]https://www.openresearchpress.example/book/001[5]
| Erwartung im Katalog | ja |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe MARC21-Slim-Namespace, Leader, Pflichtfelder, Indikatoren und Subfields. Insbesondere müssen DOI und URL in den fachlich richtigen, voneinander getrennten MARC-Feldern mit den korrekten Fundstellen stehen.
Muss erfüllt sein
- Die Ausgabe besteht ausschließlich aus wohlgeformtem XML; entfernbare Markdown-Codezäune sind zulässig, zusätzliche Prosa nicht.
- Das Wurzelelement record und alle MARC-Elemente verwenden den Namespace http://www.loc.gov/MARC21/slim.
- Der leader lautet exakt 00000nam a2200000 a 4500.
- Feld 245 mit ind1="1" und ind2="0" enthält Digitale Wissensökologien in subfield a und [1] in subfield 9.
- Feld 100 mit ind1="1" enthält Hahn, Michael in subfield a und [2] in subfield 9.
- Feld 264 mit ind2="1" enthält Open Research Press in subfield b, 2022 in subfield c und [3] in subfield 9.
- Genau ein Feld 024 mit ind1="7" enthält 10.1234/fiktiv.2022.001 in subfield a, doi in subfield 2 und [4] in subfield 9.
- Genau ein Feld 856 mit ind1="4" und ind2="0" enthält https://www.openresearchpress.example/book/001 in subfield u und [5] in subfield 9.
- DOI und URL sind nicht zusammengeführt, und der Beispiel-DOI 10.1000/xyz123 erscheint nicht.
Fehlerkriterien
- Das XML ist nicht parsebar, enthält Prosa oder verwendet nicht den MARC21-Slim-Namespace.
- Leader, Titel, Autor, Verlag oder Jahr fehlt oder steht in einem sachlich falschen MARC-Feld beziehungsweise Subfield.
- Der DOI steht nicht als Roh-DOI in 024$a mit 024$2 doi oder die URL steht nicht in 856$u.
- DOI und URL werden in demselben datafield ausgegeben, sind inhaltlich verändert oder tragen falsche Fundstellen.
- Beispielwerte oder zusätzliche erfundene Identifikatoren beziehungsweise bibliografische Angaben werden übernommen.
Judge-Hinweis: Whitespace, XML-Deklaration und Attributreihenfolge sind nicht relevant. Der DOI muss in MARC 024$a als 10.1234/fiktiv.2022.001 stehen; eine doi.org-URL an dieser Stelle ist nicht gleichwertig, weil dadurch die geforderte MARC-Feldmodellierung verändert wird. Leere Indikatoren dürfen als einzelnes Leerzeichen serialisiert werden.
Prompt
Du erhältst einen Text mit bibliografischen Angaben inklusive DOI und URL. Aufgabe Erfasse ausschließlich bibliografische Metadaten. Gib sie als MARC21 XML aus. DOI und URL müssen als separate MARC21 Felder ausgegeben werden. Jede Angabe muss eine Fundstelle in eckigen Klammern enthalten. Beispiel Text [1] Titel Open Science Handbook [2] DOI 10.1000/xyz123 Ausgabe <datafield tag="024"> <subfield code="a">10.1000/xyz123</subfield> <subfield code="2">doi</subfield> <subfield code="9">[2]</subfield> </datafield> Text [1] Digitale Wissensökologien [2] Michael Hahn [3] Open Research Press 2022 [4] DOI 10.1234/fiktiv.2022.001 [5] URL https://www.openresearchpress.example/book/001
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.





