BITS_Metadata_MultipleAuthors im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob mehrere Autoren aus einem Text korrekt erkannt und als separate contrib Elemente in BITS XML modelliert werden. Alle Metadaten müssen mit Fundstellen versehen sein.
| Quelldatei | BITS_Metadata_MultipleAuthors.txt |
|---|---|
| Serie | 3 |
| Kategorien | xml, bits, metadata |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | c64b0186c8b600ee138fc97321072a1058d7bf59f4c22db29976446ddf367d86 |
Erwartetes Ergebnis
Kooperative Wissensräume[1]MüllerAnna[2]BergerThomas[2]RossiElena[2]Fiktiver Wissenschaftsverlag[3]2021[3]de
| Erwartung im Katalog | ja |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe den BITS-2.0-Namespace und die hierarchische book-meta-Struktur. Vergleiche Titel, Autoren, Verlag, Jahr, Sprache und Fundstellen feldweise; die drei Autoren müssen als getrennte contrib-Elemente strukturiert sein.
Muss erfüllt sein
- Die Ausgabe besteht ausschließlich aus wohlgeformtem XML; Markdown-Codezäune dürfen entfernt werden, zusätzliche Prosa ist nicht zulässig.
- Das Wurzelelement book und seine BITS-Elemente gehören zum Namespace http://jats.nlm.nih.gov/extensions/bits/2.0 und enthalten genau ein book-meta.
- book-meta enthält ein book-title-group mit book-title Kooperative Wissensräume und einer zugehörigen Fundstelle [1] in xref.
- Ein contrib-group enthält genau drei getrennte contrib-Elemente mit contrib-type="author" in der Reihenfolge Anna Müller, Thomas Berger, Elena Rossi.
- Jeder Autor ist in name mit korrekt getrennten surname- und given-names-Elementen modelliert: Müller/Anna, Berger/Thomas und Rossi/Elena. Jeder contrib trägt xref [2].
- publisher enthält publisher-name Fiktiver Wissenschaftsverlag und xref [3].
- pub-date enthält year 2021 und xref [3].
- language enthält de. Entsprechend der allgemeinen Promptvorgabe soll auch die Sprache mit Fundstelle [1] verbunden sein; das Fehlen dieses einen xref allein darf jedoch nicht zum Durchfallen führen, weil die hinterlegte BITS-Referenz die Sprache ohne xref serialisiert.
- Die Beispielnamen Mustermann und Becker, Digitale Diskurse, Beispielverlag und der Rauschabschnitt [4] werden nicht ausgegeben.
Fehlerkriterien
- Das XML ist nicht parsebar, enthält Prosa, verwendet einen falschen BITS-Namespace oder besitzt keine book/book-meta-Struktur.
- Ein Autor fehlt, Autoren werden in einem contrib zusammengefasst, surname und given-names werden vertauscht oder die Autorenreihenfolge ist falsch.
- Titel, Verlag, Jahr oder Sprache fehlt beziehungsweise enthält einen falschen Wert.
- Die Fundstellen [1], [2] oder [3] fehlen an Titel, Autoren, Verlag oder Jahr oder sind den falschen Angaben zugeordnet.
- Beispielwerte, Rauschinhalt oder zusätzliche erfundene bibliografische Angaben werden ausgegeben.
Judge-Hinweis: Bewerte namespacebewusst und semantisch. XML-Deklaration, Einrückung, Attributreihenfolge und die Reihenfolge voneinander unabhängiger book-meta-Kinder sind unerheblich. Für das Sprachfeld gilt die ausdrücklich genannte Toleranz, damit sowohl die Promptvorgabe als auch die bestehende Referenzserialisierung berücksichtigt werden.
Prompt
Du erhältst einen Text mit bibliografischen Angaben zu einer Publikation.
Aufgabe
Erfasse ausschließlich bibliografische Metadaten.
Gib sie als BITS XML aus.
Mehrere Autoren müssen als getrennte contrib Elemente ausgegeben werden.
Jede Metadatenangabe muss eine Fundstelle in eckigen Klammern enthalten.
Beispiel
Text
[1] Titel
Digitale Diskurse
[2] Autoren
Max Mustermann, Julia Becker
[3] Verlag
Beispielverlag 2020
Ausgabe
<contrib contrib-type="author">
<name>
<surname>Mustermann</surname>
<given-names>Max</given-names>
</name>
<xref ref-type="fundstelle">[2]</xref>
</contrib>
Text
[1] Kooperative Wissensräume
[2] Anna Müller, Thomas Berger, Elena Rossi
[3] Fiktiver Wissenschaftsverlag 2021
[4] Weitere Inhalte ohne Metadaten sind zu ignorieren.
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.





