DublinCore_Metadata_Extraction_BookFrontmatter im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob ein Modell aus einem umfangreichen Buchvorspann die relevanten bibliografischen Metadaten erkennt und korrekt als Dublin Core XML ausgibt. Nicht relevante Inhaltsverzeichnisse und Fließtexte müssen ignoriert werden.

QuelldateiDublinCore_Metadata_Extraction_BookFrontmatter.txt
Serie3
Kategorienxml, dublin-core, metadata, semantics
BewertungLLM-Judge
Prompt SHA-256fe943fb7c576ad5f1cc167c04f204aa239417f9d9e42b9e224b1cdd81ed408ec
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

Die Kunst der EinfaltNicolas DeteringKonstanz University Press2024deISBN 978-3-8353-9169-7ISBN 978-3-8353-8069-1CC BY-NC-ND 4.0Wallstein Verlag GmbH

Erwartung im Katalogja
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Parse die Antwort als XML und prüfe die Dublin-Core-Elemente anhand ihrer erweiterten Namen. Vergleiche alle bibliografischen Werte und Fundstellen mit dem Buchvorspann und stelle sicher, dass keine inhaltlichen Rauschpassagen als Metadaten übernommen wurden.

Muss erfüllt sein

  • Die Ausgabe besteht ausschließlich aus wohlgeformtem XML. Markdown-Codezäune dürfen vor der Prüfung entfernt werden; zusätzliche Prosa außerhalb des XML ist nicht zulässig.
  • Es gibt genau ein metadata-Wurzelelement. Sämtliche Dublin-Core-Feldelemente gehören zum Namespace http://purl.org/dc/elements/1.1/; die konkrete Präfixschreibweise ist unerheblich.
  • Genau ein dc:title enthält den Haupttitel Die Kunst der Einfalt und ist über ein innerhalb desselben Metadatenelements liegendes xref der Fundstelle [1] zugeordnet.
  • Genau ein dc:creator enthält Nicolas Detering und trägt die Fundstelle [2]. Die erneute Namensnennung im Copyrightabschnitt darf nicht als zweiter Urheber ausgegeben werden.
  • Genau ein dc:publisher enthält Konstanz University Press mit Fundstelle [4], und genau ein dc:date enthält 2024 mit Fundstelle [7].
  • Ein dc:language enthält den Sprachcode de. Als Fundstelle ist [1] oder [3] zulässig, sofern die Zuordnung innerhalb desselben Elements eindeutig ist.
  • Es gibt genau zwei dc:identifier-Elemente für die ISBN 978-3-8353-9169-7 und 978-3-8353-8069-1. Beide tragen Fundstelle [9]; die Schreibweise mit vorangestelltem ISBN ist erwünscht, eine eindeutig typisierte gleichwertige Darstellung der exakt gleichen ISBN ist zulässig.
  • Genau ein dc:rights enthält CC BY-NC-ND 4.0 mit Fundstelle [6], und genau ein dc:relation enthält Wallstein Verlag GmbH mit Fundstelle [8].
  • Jede ausgegebene Metadatenangabe besitzt eine inhaltlich passende Fundstelle als xref; ein optionales ref-type-Attribut am xref ist zulässig.
  • Der Förderhinweis aus [5], die Inhalts- und Fließtextpassagen aus [10] sowie die Beispielmetadaten aus der Aufgabenbeschreibung werden nicht ausgegeben.

Fehlerkriterien

  • Das XML ist nicht parsebar, enthält Prosa außerhalb des XML oder verwendet für die Dublin-Core-Elemente einen falschen Namespace.
  • Eines der Pflichtfelder Titel, Urheber, Verlag, Jahr, Sprache, beide ISBN, Rechte oder Relation fehlt, ist doppelt oder enthält einen inhaltlich falschen Wert.
  • Eine ISBN ist falsch, fehlt, wird mit einer zusätzlichen erfundenen ISBN vermischt oder die beiden ISBN werden in ein einziges untrennbares Feld zusammengezogen.
  • Fundstellen fehlen, stehen außerhalb der zugehörigen Metadatenelemente oder sind einem falschen Wert zugeordnet.
  • Förderung, Inhaltsverzeichnis, Kapitelüberschriften, Beispielwerte oder sonstiger Fließtext werden als bibliografische Metadaten übernommen.
  • Die Titelwiederholung oder der Untertitel aus [3] ersetzt den Haupttitel Die Kunst der Einfalt.

Judge-Hinweis: Bewerte semantisch und namespacebewusst, nicht per serialisiertem String. XML-Deklaration, Einrückung, Zeilenumbrüche, Elementreihenfolge und Präfixname sind unerheblich. Die abgeflachte frühere expected-Zeichenfolge enthält keine Fundstellen; für diese Regel ist die ausdrückliche Promptvorgabe maßgeblich, dass jede Metadatenangabe eine Fundstelle trägt. Ein zusätzlich klar als Untertitel gekennzeichneter Wert aus [3] ist tolerierbar, sofern alle Pflichtfelder korrekt bleiben und er nicht als zweiter Haupttitel behandelt wird.

Prompt

Du erhältst einen umfangreichen Text mit Titelblatt, Lizenzangaben, Verlagsinformationen und viel weiterem Inhalt.

Aufgabe
Erfasse ausschließlich bibliografische Metadaten.
Zeichne diese als Dublin Core XML aus.

Zu erfassende Metadaten, sofern vorhanden
Titel
Autor oder Urheber
Verlag
Erscheinungsjahr
Sprache
Identifikatoren wie ISBN
Lizenz oder Rechteangaben
Beziehungen zu weiteren Verlagen oder Imprints

Jede Metadatenangabe muss ihre Fundstelle in eckigen Klammern tragen.
Die Fundstelle bezieht sich auf den Absatz oder Abschnitt, in dem die Information steht.

Ausgabeformat
Dublin Core XML mit dc Namespace.
Gib ausschließlich das XML zurück.

Beispiel
Text
[1] Titel
Digitale Wissensmodelle
[2] Autor
Max Mustermann
[3] Verlag
Beispielverlag 2021

Ausgabe
<metadata xmlns:dc="http://purl.org/dc/elements/1.1/">
  <dc:title>Digitale Wissensmodelle<xref>[1]</xref></dc:title>
  <dc:creator>Max Mustermann<xref>[2]</xref></dc:creator>
  <dc:publisher>Beispielverlag<xref>[3]</xref></dc:publisher>
  <dc:date>2021<xref>[3]</xref></dc:date>
</metadata>

Text
[1] Die Kunst der Einfalt

[2] Nicolas Detering

[3] DIE KUNST DER EINFALT
Märtyrer und Legenden im bürgerlichen
Zeitalter der Literatur

[4] Konstanz University Press

[5] Publiziert mit Unterstützung des Schweizerischen Nationalfonds zur
Förderung der wissenschaftlichen Forschung.

[6] Dieses Werk ist im Open Access unter der Creative-Commons-Lizenz
CC BY-NC-ND 4.0 lizenziert.

[7] © Nicolas Detering 2024
Publikation: Konstanz University Press 2024

[8] Konstanz University Press ist ein Imprint der
Wallstein Verlag GmbH

[9] ISBN (Print) 978-3-8353-9169-7
ISBN (Open Access) 978-3-8353-8069-1

[10] Weitere Inhalte wie Inhaltsverzeichnis, Kapitelüberschriften
und Fließtexte sind für diese Aufgabe zu ignorieren.
769 Runs 756 bewertet 27.8 % Score 0.4 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am