BITS_Metadata_MultipleAuthors im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob mehrere Autoren aus einem Text korrekt erkannt und als separate contrib Elemente in BITS XML modelliert werden. Alle Metadaten müssen mit Fundstellen versehen sein.

QuelldateiBITS_Metadata_MultipleAuthors.txt
Serie3
Kategorienxml, bits, metadata
BewertungLLM-Judge
Prompt SHA-256c64b0186c8b600ee138fc97321072a1058d7bf59f4c22db29976446ddf367d86
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

Kooperative Wissensräume[1]MüllerAnna[2]BergerThomas[2]RossiElena[2]Fiktiver Wissenschaftsverlag[3]2021[3]de

Erwartung im Katalogja
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Prüfe den BITS-2.0-Namespace und die hierarchische book-meta-Struktur. Vergleiche Titel, Autoren, Verlag, Jahr, Sprache und Fundstellen feldweise; die drei Autoren müssen als getrennte contrib-Elemente strukturiert sein.

Muss erfüllt sein

  • Die Ausgabe besteht ausschließlich aus wohlgeformtem XML; Markdown-Codezäune dürfen entfernt werden, zusätzliche Prosa ist nicht zulässig.
  • Das Wurzelelement book und seine BITS-Elemente gehören zum Namespace http://jats.nlm.nih.gov/extensions/bits/2.0 und enthalten genau ein book-meta.
  • book-meta enthält ein book-title-group mit book-title Kooperative Wissensräume und einer zugehörigen Fundstelle [1] in xref.
  • Ein contrib-group enthält genau drei getrennte contrib-Elemente mit contrib-type="author" in der Reihenfolge Anna Müller, Thomas Berger, Elena Rossi.
  • Jeder Autor ist in name mit korrekt getrennten surname- und given-names-Elementen modelliert: Müller/Anna, Berger/Thomas und Rossi/Elena. Jeder contrib trägt xref [2].
  • publisher enthält publisher-name Fiktiver Wissenschaftsverlag und xref [3].
  • pub-date enthält year 2021 und xref [3].
  • language enthält de. Entsprechend der allgemeinen Promptvorgabe soll auch die Sprache mit Fundstelle [1] verbunden sein; das Fehlen dieses einen xref allein darf jedoch nicht zum Durchfallen führen, weil die hinterlegte BITS-Referenz die Sprache ohne xref serialisiert.
  • Die Beispielnamen Mustermann und Becker, Digitale Diskurse, Beispielverlag und der Rauschabschnitt [4] werden nicht ausgegeben.

Fehlerkriterien

  • Das XML ist nicht parsebar, enthält Prosa, verwendet einen falschen BITS-Namespace oder besitzt keine book/book-meta-Struktur.
  • Ein Autor fehlt, Autoren werden in einem contrib zusammengefasst, surname und given-names werden vertauscht oder die Autorenreihenfolge ist falsch.
  • Titel, Verlag, Jahr oder Sprache fehlt beziehungsweise enthält einen falschen Wert.
  • Die Fundstellen [1], [2] oder [3] fehlen an Titel, Autoren, Verlag oder Jahr oder sind den falschen Angaben zugeordnet.
  • Beispielwerte, Rauschinhalt oder zusätzliche erfundene bibliografische Angaben werden ausgegeben.

Judge-Hinweis: Bewerte namespacebewusst und semantisch. XML-Deklaration, Einrückung, Attributreihenfolge und die Reihenfolge voneinander unabhängiger book-meta-Kinder sind unerheblich. Für das Sprachfeld gilt die ausdrücklich genannte Toleranz, damit sowohl die Promptvorgabe als auch die bestehende Referenzserialisierung berücksichtigt werden.

Prompt

Du erhältst einen Text mit bibliografischen Angaben zu einer Publikation.

Aufgabe
Erfasse ausschließlich bibliografische Metadaten.
Gib sie als BITS XML aus.
Mehrere Autoren müssen als getrennte contrib Elemente ausgegeben werden.
Jede Metadatenangabe muss eine Fundstelle in eckigen Klammern enthalten.

Beispiel
Text
[1] Titel
Digitale Diskurse
[2] Autoren
Max Mustermann, Julia Becker
[3] Verlag
Beispielverlag 2020

Ausgabe
<contrib contrib-type="author">
  <name>
    <surname>Mustermann</surname>
    <given-names>Max</given-names>
  </name>
  <xref ref-type="fundstelle">[2]</xref>
</contrib>

Text
[1] Kooperative Wissensräume
[2] Anna Müller, Thomas Berger, Elena Rossi
[3] Fiktiver Wissenschaftsverlag 2021
[4] Weitere Inhalte ohne Metadaten sind zu ignorieren.
821 Runs 798 bewertet 25.1 % Score 0.0 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am