JATS_Literature_NonLatinScripts im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob ein Modell Literaturangaben korrekt erkennt und strukturiert, wenn Autorennamen, Titel und Publikationsangaben in nicht-lateinischen Schriften vorliegen. Erwartet wird eine vollständige JATS-konforme ref-list mit korrekter Übernahme der Originalzeichen.
| Quelldatei | JATS_Literature_NonLatinScripts.txt |
|---|---|
| Serie | 3 |
| Kategorien | xml, jats, semantics, multilingual, nonlatin |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | d2d87125351d2a3c79f277546c790ed02419a6bec45b7aa692d27623f4137336 |
Erwartetes Ergebnis
[21]王伟2018知识系统的动态模型虚构出版社北京[22]ИвановА.2020Социотехнические системы и знаниеЖурнал теоретических исследований1425572[23]山田太郎2019知識と社会技術システム架空学術出版東京
| Erwartung im Katalog | ja |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe die drei Referenzen feldweise anhand ihrer Unicode-Zeichen. Originalschrift, Autoraufteilung, Publikationsart und alle bibliografischen Felder müssen erhalten sein.
Muss erfüllt sein
- Die Ausgabe besteht ausschließlich aus wohlgeformtem XML; Markdown-Codezäune dürfen entfernt werden, zusätzliche Prosa ist unzulässig.
- Das Wurzelelement ref-list enthält genau drei ref-Einträge in der Reihenfolge [21], [22], [23], jeweils mit label und element-citation.
- Autoren stehen in person-group person-group-type="author" und werden soweit im Soll vorgegeben in surname und given-names aufgeteilt: 王/伟, Иванов/А. und 山田/太郎.
- [21] ist ein Buch mit 王伟; 2018; 知识系统的动态模型; 虚构出版社; 北京.
- [22] ist ein Zeitschriftenartikel mit Иванов, А.; 2020; Социотехнические системы и знание; Журнал теоретических исследований; volume 14; issue 2; Seiten 55 bis 72.
- [23] ist ein Buch mit 山田太郎; 2019; 知識と社会技術システム; 架空学術出版; 東京.
- Buchtitel, Verlag und Ort beziehungsweise Artikeltitel, Zeitschrift, Band, Heft und Seiten werden in passenden JATS-Elementen modelliert.
- Alle chinesischen, kyrillischen und japanischen Zeichen werden in Originalschrift übernommen; es gibt keine Transliteration, Übersetzung oder Ersetzung durch lateinische Namen.
Fehlerkriterien
- Das XML ist nicht parsebar, enthält Prosa oder besitzt keine einzelne ref-list als Wurzel.
- Eine Referenz fehlt, ist doppelt, falsch gelabelt oder steht nicht in der Reihenfolge [21], [22], [23].
- Originalzeichen werden transliteriert, übersetzt, durch ähnlich aussehende Zeichen ersetzt oder anderweitig verändert.
- Autoren werden falsch getrennt beziehungsweise zusammengeführt oder die Initiale А. fehlt.
- Jahr, Titel, Verlag, Ort, Zeitschrift, Band, Heft oder Seitenbereich fehlt, ist falsch oder einer anderen Referenz zugeordnet.
- Die element-citation-Struktur und die semantisch passenden JATS-Unterelemente fehlen.
Judge-Hinweis: Vergleiche den tatsächlichen Unicode-Inhalt, nicht eine mögliche lateinische Umschrift. Whitespace, XML-Deklaration, Attributreihenfolge und konkrete eindeutige ref-IDs sind nicht relevant. Bei ostasiatischen Namen zählt die im Soll dargestellte Aufteilung; die ungeteilte Wiedergabe des vollständigen Namens in einem einzelnen name-string ist nicht ausreichend.
Prompt
Du erhältst einen wissenschaftlichen Text. Der Text enthält Abschnitte in verschiedenen Sprachen und Schriftsystemen. Nicht jeder Abschnitt enthält Literaturangaben. Aufgabe Erfasse ausschließlich die vollständigen Literaturangaben. Ignoriere den restlichen Text vollständig. Gib nur die Literaturangaben als JATS XML aus. Formatvorgaben Nutze ref-list und ref. Jede Referenz muss ein label mit der originalen Nummer tragen. Nutze element-citation. Verwende passende JATS-Tags für alle bibliografischen Informationen. Nicht-lateinische Zeichen müssen unverändert übernommen werden. Text [1] Introduction This section introduces the topic. No references here. [2] 背景 本文讨论知识系统的演化过程。本节不包含文献引用。 [3] Введение В этом разделе обсуждаются теоретические аспекты без ссылок. [4] 本文の概要 ここでは研究の概要を説明する。参考文献は含まれない。 [5] Literatur [21] 王伟. 2018. 知识系统的动态模型. 虚构出版社, 北京. [22] Иванов, А. 2020. Социотехнические системы и знание. Журнал теоретических исследований 14, 2, 55–72. [23] 山田太郎. 2019. 知識と社会技術システム. 架空学術出版, 東京.
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.





