JATS_Literature_NonLatinScripts im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob ein Modell Literaturangaben korrekt erkennt und strukturiert, wenn Autorennamen, Titel und Publikationsangaben in nicht-lateinischen Schriften vorliegen. Erwartet wird eine vollständige JATS-konforme ref-list mit korrekter Übernahme der Originalzeichen.

QuelldateiJATS_Literature_NonLatinScripts.txt
Serie3
Kategorienxml, jats, semantics, multilingual, nonlatin
BewertungLLM-Judge
Prompt SHA-256d2d87125351d2a3c79f277546c790ed02419a6bec45b7aa692d27623f4137336
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

[21]王伟2018知识系统的动态模型虚构出版社北京[22]ИвановА.2020Социотехнические системы и знаниеЖурнал теоретических исследований1425572[23]山田太郎2019知識と社会技術システム架空学術出版東京

Erwartung im Katalogja
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Prüfe die drei Referenzen feldweise anhand ihrer Unicode-Zeichen. Originalschrift, Autoraufteilung, Publikationsart und alle bibliografischen Felder müssen erhalten sein.

Muss erfüllt sein

  • Die Ausgabe besteht ausschließlich aus wohlgeformtem XML; Markdown-Codezäune dürfen entfernt werden, zusätzliche Prosa ist unzulässig.
  • Das Wurzelelement ref-list enthält genau drei ref-Einträge in der Reihenfolge [21], [22], [23], jeweils mit label und element-citation.
  • Autoren stehen in person-group person-group-type="author" und werden soweit im Soll vorgegeben in surname und given-names aufgeteilt: 王/伟, Иванов/А. und 山田/太郎.
  • [21] ist ein Buch mit 王伟; 2018; 知识系统的动态模型; 虚构出版社; 北京.
  • [22] ist ein Zeitschriftenartikel mit Иванов, А.; 2020; Социотехнические системы и знание; Журнал теоретических исследований; volume 14; issue 2; Seiten 55 bis 72.
  • [23] ist ein Buch mit 山田太郎; 2019; 知識と社会技術システム; 架空学術出版; 東京.
  • Buchtitel, Verlag und Ort beziehungsweise Artikeltitel, Zeitschrift, Band, Heft und Seiten werden in passenden JATS-Elementen modelliert.
  • Alle chinesischen, kyrillischen und japanischen Zeichen werden in Originalschrift übernommen; es gibt keine Transliteration, Übersetzung oder Ersetzung durch lateinische Namen.

Fehlerkriterien

  • Das XML ist nicht parsebar, enthält Prosa oder besitzt keine einzelne ref-list als Wurzel.
  • Eine Referenz fehlt, ist doppelt, falsch gelabelt oder steht nicht in der Reihenfolge [21], [22], [23].
  • Originalzeichen werden transliteriert, übersetzt, durch ähnlich aussehende Zeichen ersetzt oder anderweitig verändert.
  • Autoren werden falsch getrennt beziehungsweise zusammengeführt oder die Initiale А. fehlt.
  • Jahr, Titel, Verlag, Ort, Zeitschrift, Band, Heft oder Seitenbereich fehlt, ist falsch oder einer anderen Referenz zugeordnet.
  • Die element-citation-Struktur und die semantisch passenden JATS-Unterelemente fehlen.

Judge-Hinweis: Vergleiche den tatsächlichen Unicode-Inhalt, nicht eine mögliche lateinische Umschrift. Whitespace, XML-Deklaration, Attributreihenfolge und konkrete eindeutige ref-IDs sind nicht relevant. Bei ostasiatischen Namen zählt die im Soll dargestellte Aufteilung; die ungeteilte Wiedergabe des vollständigen Namens in einem einzelnen name-string ist nicht ausreichend.

Prompt

Du erhältst einen wissenschaftlichen Text.
Der Text enthält Abschnitte in verschiedenen Sprachen und Schriftsystemen.
Nicht jeder Abschnitt enthält Literaturangaben.

Aufgabe
Erfasse ausschließlich die vollständigen Literaturangaben.
Ignoriere den restlichen Text vollständig.
Gib nur die Literaturangaben als JATS XML aus.

Formatvorgaben
Nutze ref-list und ref.
Jede Referenz muss ein label mit der originalen Nummer tragen.
Nutze element-citation.
Verwende passende JATS-Tags für alle bibliografischen Informationen.
Nicht-lateinische Zeichen müssen unverändert übernommen werden.

Text
[1] Introduction
This section introduces the topic. No references here.

[2] 背景
本文讨论知识系统的演化过程。本节不包含文献引用。

[3] Введение
В этом разделе обсуждаются теоретические аспекты без ссылок.

[4] 本文の概要
ここでは研究の概要を説明する。参考文献は含まれない。

[5] Literatur

[21] 王伟. 2018. 知识系统的动态模型. 虚构出版社, 北京.

[22] Иванов, А. 2020. Социотехнические системы и знание. Журнал теоретических исследований 14, 2, 55–72.

[23] 山田太郎. 2019. 知識と社会技術システム. 架空学術出版, 東京.
718 Runs 708 bewertet 43.1 % Score 16.7 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am