DublinCore_Metadata_DOI_URL im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob ein Modell DOI und URL als Identifikatoren erkennt und korrekt als dc:identifier im Dublin Core XML ausgibt. Beide Identifikatoren müssen getrennt erfasst werden.

QuelldateiDublinCore_Metadata_DOI_URL.txt
Serie3
Kategorienxml, dublin-core, metadata, semantics
BewertungLLM-Judge
Prompt SHA-256a2092e2bc114da31b37443bf9a1fa3fb6372c86a074cdd2c35ca337b5e21b3c4
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

Digitale Wissensökologien[1]Michael Hahn[2]Open Research Press[3]2022[3]https://doi.org/10.1234/fiktiv.2022.001[4]https://www.openresearchpress.example/book/001[5]en[1]

Erwartung im Katalogja
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Prüfe die Dublin-Core-Struktur und vergleiche jedes Feld mit den Abschnitten [1] bis [5]. DOI und URL müssen als zwei verschiedene dc:identifier-Elemente vorliegen; Beispiel- und Rauschdaten sind auszuschließen.

Muss erfüllt sein

  • Die Ausgabe besteht ausschließlich aus wohlgeformtem XML; Markdown-Codezäune dürfen entfernt werden, zusätzliche Prosa ist nicht zulässig.
  • Das Wurzelelement ist metadata, und die Dublin-Core-Feldelemente verwenden den Namespace http://purl.org/dc/elements/1.1/.
  • dc:title enthält Digitale Wissensökologien mit Fundstelle [1], dc:creator enthält Michael Hahn mit [2], dc:publisher enthält Open Research Press mit [3] und dc:date enthält 2022 mit [3].
  • dc:language enthält en mit Fundstelle [1].
  • Es gibt genau zwei getrennte dc:identifier-Elemente und keine weiteren Identifikatoren.
  • Der DOI-Identifikator bezeichnet exakt 10.1234/fiktiv.2022.001 und trägt Fundstelle [4]. Zulässig sind die lexikalischen Formen 10.1234/fiktiv.2022.001, doi:10.1234/fiktiv.2022.001 oder https://doi.org/10.1234/fiktiv.2022.001.
  • Der URL-Identifikator enthält exakt https://www.openresearchpress.example/book/001 und trägt Fundstelle [5].
  • Der Beispiel-DOI 10.1000/xyz123 und der nichtmetadatenhaltige Abschnitt [6] werden nicht ausgegeben.

Fehlerkriterien

  • Das XML ist nicht parsebar, enthält Prosa oder bindet die Dublin-Core-Elemente nicht an den offiziellen Namespace.
  • DOI und URL fehlen, sind vertauscht, stehen im selben identifier-Element oder es werden zusätzliche Identifikatoren ausgegeben.
  • Der DOI bezeichnet eine andere DOI, die URL ist verändert oder Fundstelle [4] beziehungsweise [5] ist falsch zugeordnet.
  • Titel, Urheber, Verlag, Jahr oder Sprache fehlt oder enthält einen falschen Wert.
  • Beispieldaten wie 10.1000/xyz123 oder sonstige Inhalte aus [6] werden übernommen.

Judge-Hinweis: Bewerte anhand erweiterter XML-Namen und semantischer Identität. Präfixname, Einrückung, Elementreihenfolge und XML-Deklaration sind irrelevant. Die drei üblichen DOI-Schreibweisen gelten als gleichwertig; bei der Publikations-URL ist dagegen die vollständige Zeichenfolge maßgeblich.

Prompt

Du erhältst einen Text mit bibliografischen Angaben inklusive DOI und URL.

Aufgabe
Erfasse ausschließlich bibliografische Metadaten.
Zeichne sie als Dublin Core XML aus.
DOI und URL müssen jeweils als eigenes dc:identifier Element ausgegeben werden.
Jede Angabe muss eine Fundstelle in eckigen Klammern enthalten.

Beispiel
Text
[1] Titel
Open Science Handbook
[2] DOI
10.1000/xyz123

Ausgabe
<dc:identifier>10.1000/xyz123<xref>[2]</xref></dc:identifier>

Text
[1] Digitale Wissensökologien

[2] Michael Hahn

[3] Open Research Press 2022

[4] DOI
10.1234/fiktiv.2022.001

[5] URL
https://www.openresearchpress.example/book/001

[6] Weitere Textbestandteile ohne Metadaten.
781 Runs 770 bewertet 9.8 % Score 0.0 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am