Marc21XmlRecord im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob ein Modell einen vollständigen MARC21 XML Datensatz erzeugen kann. Erwartet werden leader, mehrere controlfield Elemente sowie datafield Strukturen mit gültigen Tags, Indikatoren und Subfields für bibliografische Kerndaten.

QuelldateiMarc21XmlRecord.txt
Serie1
Kategorienxml, marc21, structure
BewertungLLM-Judge
Prompt SHA-25653a5af73b55ff1594f5dac6bc005eb489c2e18608672da154f87772f67248dd1
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

Valider MARCXML Datensatz mit Leader, Kontrollfeldern und bibliografischen Datenfeldern.

Erwartung im Katalognein
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Prüfe MARCXML Syntax, Feldcodes, Indikatoren, Subfields und die Plausibilität des Leaders sowie der Kontrollfelder.

Muss erfüllt sein

  • Die Ausgabe ist wohlgeformtes XML ohne erklärende Prosa außerhalb des XML.
  • record oder collection/record verwendet den MARCXML Namensraum http://www.loc.gov/MARC21/slim.
  • leader ist genau 24 Zeichen lang und als bibliografischer Leader plausibel.
  • controlfield mit den Tags 001, 003 und 005 sind vorhanden; 005 hat ein plausibles MARC Zeitstempelformat.
  • datafield 100, 245 sowie 260 oder 264 sind vorhanden.
  • Jedes datafield hat einstellige ind1 und ind2 Werte und passende subfield Codes.
  • Autor, Titel und Publikationsangaben sind semantisch vollständig und korrekt den MARC Feldern zugeordnet.

Fehlerkriterien

  • MARCXML Namensraum, Leader oder geforderte Felder fehlen.
  • Leaderlänge ist nicht 24 Zeichen.
  • Indikatoren oder Subfield Codes fehlen beziehungsweise sind offensichtlich unzulässig.
  • Bibliografische Inhalte stehen in falschen Feldern.

Prompt

Erstelle unter content einen vollständigen MARC21 XML Datensatz.

Erforderliche Bestandteile
record als Root
leader
mehrere controlfield Elemente, z. B.
  001
  003
  005
datafield Elemente für
  100 Person (Subfield a)
  245 Titel (Subfields a und b)
  260 oder 264 Publikation mit
     Subfield a Erscheinungsort
     Subfield b Verlag
     Subfield c Erscheinungsjahr

Verwende gültige MARC21 Tag Nummern,
korrekte ind Attribute und Subfield Codes.
Nutze den MARCXML Namensraum
http://www.loc.gov/MARC21/slim

Gib ausschließlich den MARC21 XML Datensatz zurück.

# content
715 Runs 705 bewertet 30.8 % Score 14.6 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am