DublinCore_Metadata_DOI_URL im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob ein Modell DOI und URL als Identifikatoren erkennt und korrekt als dc:identifier im Dublin Core XML ausgibt. Beide Identifikatoren müssen getrennt erfasst werden.
| Quelldatei | DublinCore_Metadata_DOI_URL.txt |
|---|---|
| Serie | 3 |
| Kategorien | xml, dublin-core, metadata, semantics |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | a2092e2bc114da31b37443bf9a1fa3fb6372c86a074cdd2c35ca337b5e21b3c4 |
Erwartetes Ergebnis
Digitale Wissensökologien[1]Michael Hahn[2]Open Research Press[3]2022[3]https://doi.org/10.1234/fiktiv.2022.001[4]https://www.openresearchpress.example/book/001[5]en[1]
| Erwartung im Katalog | ja |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe die Dublin-Core-Struktur und vergleiche jedes Feld mit den Abschnitten [1] bis [5]. DOI und URL müssen als zwei verschiedene dc:identifier-Elemente vorliegen; Beispiel- und Rauschdaten sind auszuschließen.
Muss erfüllt sein
- Die Ausgabe besteht ausschließlich aus wohlgeformtem XML; Markdown-Codezäune dürfen entfernt werden, zusätzliche Prosa ist nicht zulässig.
- Das Wurzelelement ist metadata, und die Dublin-Core-Feldelemente verwenden den Namespace http://purl.org/dc/elements/1.1/.
- dc:title enthält Digitale Wissensökologien mit Fundstelle [1], dc:creator enthält Michael Hahn mit [2], dc:publisher enthält Open Research Press mit [3] und dc:date enthält 2022 mit [3].
- dc:language enthält en mit Fundstelle [1].
- Es gibt genau zwei getrennte dc:identifier-Elemente und keine weiteren Identifikatoren.
- Der DOI-Identifikator bezeichnet exakt 10.1234/fiktiv.2022.001 und trägt Fundstelle [4]. Zulässig sind die lexikalischen Formen 10.1234/fiktiv.2022.001, doi:10.1234/fiktiv.2022.001 oder https://doi.org/10.1234/fiktiv.2022.001.
- Der URL-Identifikator enthält exakt https://www.openresearchpress.example/book/001 und trägt Fundstelle [5].
- Der Beispiel-DOI 10.1000/xyz123 und der nichtmetadatenhaltige Abschnitt [6] werden nicht ausgegeben.
Fehlerkriterien
- Das XML ist nicht parsebar, enthält Prosa oder bindet die Dublin-Core-Elemente nicht an den offiziellen Namespace.
- DOI und URL fehlen, sind vertauscht, stehen im selben identifier-Element oder es werden zusätzliche Identifikatoren ausgegeben.
- Der DOI bezeichnet eine andere DOI, die URL ist verändert oder Fundstelle [4] beziehungsweise [5] ist falsch zugeordnet.
- Titel, Urheber, Verlag, Jahr oder Sprache fehlt oder enthält einen falschen Wert.
- Beispieldaten wie 10.1000/xyz123 oder sonstige Inhalte aus [6] werden übernommen.
Judge-Hinweis: Bewerte anhand erweiterter XML-Namen und semantischer Identität. Präfixname, Einrückung, Elementreihenfolge und XML-Deklaration sind irrelevant. Die drei üblichen DOI-Schreibweisen gelten als gleichwertig; bei der Publikations-URL ist dagegen die vollständige Zeichenfolge maßgeblich.
Prompt
Du erhältst einen Text mit bibliografischen Angaben inklusive DOI und URL. Aufgabe Erfasse ausschließlich bibliografische Metadaten. Zeichne sie als Dublin Core XML aus. DOI und URL müssen jeweils als eigenes dc:identifier Element ausgegeben werden. Jede Angabe muss eine Fundstelle in eckigen Klammern enthalten. Beispiel Text [1] Titel Open Science Handbook [2] DOI 10.1000/xyz123 Ausgabe <dc:identifier>10.1000/xyz123<xref>[2]</xref></dc:identifier> Text [1] Digitale Wissensökologien [2] Michael Hahn [3] Open Research Press 2022 [4] DOI 10.1234/fiktiv.2022.001 [5] URL https://www.openresearchpress.example/book/001 [6] Weitere Textbestandteile ohne Metadaten.
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.





