BITS_Metadata_DOI_URL im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob DOI und URL korrekt als book-id Elemente in BITS XML ausgegeben werden. Beide Identifikatoren müssen getrennt und mit Fundstellen modelliert werden.
| Quelldatei | BITS_Metadata_DOI_URL.txt |
|---|---|
| Serie | 3 |
| Kategorien | xml, bits, metadata |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | a2dd38a3d0418c25f737f7a7934e7a8eb1dfd0f6cf0b848231da359d089b3b8a |
Erwartetes Ergebnis
Digitale Wissensökologien[1]HahnMichael[2]Open Research Press[3]2022[3] 10.1234/fiktiv.2022.001 [4] https://www.openresearchpress.example/book/001 [5]en
| Erwartung im Katalog | ja |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe BITS-Namespace, book/book-meta-Hierarchie und sämtliche Metadaten. DOI und URL müssen als getrennte book-id-Elemente mit den vorgesehenen book-id-type-Werten und Fundstellen modelliert sein.
Muss erfüllt sein
- Die Ausgabe besteht ausschließlich aus wohlgeformtem XML; entfernbare Markdown-Codezäune sind zulässig, zusätzliche Prosa nicht.
- Das Wurzelelement book und alle BITS-Strukturelemente verwenden den Namespace http://jats.nlm.nih.gov/extensions/bits/2.0; genau ein book-meta ist vorhanden.
- book-title-group enthält book-title Digitale Wissensökologien und xref [1].
- contrib-group enthält genau ein contrib mit contrib-type="author"; name ist in surname Hahn und given-names Michael aufgeteilt, und der contrib trägt xref [2].
- publisher enthält publisher-name Open Research Press und xref [3]; pub-date enthält year 2022 und xref [3].
- Genau ein book-id mit book-id-type="doi" enthält als Identifikator 10.1234/fiktiv.2022.001 und ein zugehöriges xref [4].
- Genau ein weiteres book-id mit book-id-type="uri" enthält https://www.openresearchpress.example/book/001 und ein zugehöriges xref [5].
- language enthält en. Eine Fundstelle [1] am Sprachfeld ist gemäß Prompt erwünscht; ihr Fehlen allein ist wegen der bestehenden Referenzserialisierung ohne xref kein Ausschlussgrund.
- Der Beispiel-DOI 10.1000/xyz123 und sonstige nicht zum Zieldatensatz gehörende Inhalte erscheinen nicht.
Fehlerkriterien
- Das XML ist nicht parsebar, enthält Prosa, verwendet einen falschen BITS-Namespace oder besitzt keine book/book-meta-Struktur.
- Titel, Autor, Verlag, Jahr oder Sprache fehlt oder enthält einen falschen Wert.
- DOI und URL fehlen, sind in einem einzigen book-id zusammengeführt oder es gibt zusätzliche book-id-Elemente.
- Der DOI verwendet nicht book-id-type="doi", die URL verwendet nicht book-id-type="uri", oder die Werte beziehungsweise Fundstellen [4] und [5] sind falsch.
- Autorname ist nicht in Hahn und Michael aufgeteilt, oder die Fundstellen [1] bis [3] fehlen beziehungsweise sind falsch zugeordnet.
- Der Beispiel-DOI oder frei erfundene Metadaten werden übernommen.
Judge-Hinweis: Einrückung, XML-Deklaration, Attributreihenfolge und Reihenfolge unabhängiger Metadatenelemente sind nicht zu bewerten. Für die URL ist book-id-type="uri" maßgeblich, nicht url. Der direkte Textinhalt des book-id darf durch Whitespace um das xref unterbrochen sein; nach Zusammenfassung der Textknoten muss der exakte Identifikator entstehen.
Prompt
Du erhältst einen Text mit bibliografischen Angaben inklusive DOI und URL. Aufgabe Erfasse ausschließlich bibliografische Metadaten. Gib sie als BITS XML aus. DOI und URL müssen als separate book-id Elemente ausgegeben werden. Jede Angabe muss eine Fundstelle in eckigen Klammern enthalten. Beispiel Text [1] Titel Open Science Handbook [2] DOI 10.1000/xyz123 Ausgabe <book-id book-id-type="doi"> 10.1000/xyz123 <xref ref-type="fundstelle">[2]</xref> </book-id> Text [1] Digitale Wissensökologien [2] Michael Hahn [3] Open Research Press 2022 [4] DOI 10.1234/fiktiv.2022.001 [5] URL https://www.openresearchpress.example/book/001
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.





