KI & XML / LLM-Testsuite / Resultate / Testcases / JATS_Literature_Mixed-Languages

JATS_Literature_MixedLanguages im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob ein Modell Literaturangaben korrekt extrahiert und semantisch strukturiert, wenn Text und Quellen in mehreren Sprachen vorliegen. Erwartet wird eine vollständige JATS-konforme ref-list unabhängig von der Sprache der Quelle.

Quelldatei	JATS_Literature_MixedLanguages.txt
Serie	3
Kategorien	xml, jats, semantics, multilingual
Bewertung	LLM-Judge
Prompt SHA-256	1c26baa24e7eab9a95d664dc72032f53426fe060cd1540c2f9011c3601cde121

LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

[10]MüllerH.2019Wissensintegration in digitalen UmgebungenZeitschrift für Fiktive Informatik72101118[11]JohnsonM.2020Emergent Knowledge Systems in Socio-Technical ContextsInternational Journal of Speculative Systems154233249[12]GarcíaL.2018Modelos de conocimiento distribuidoEditorial ImaginariaMadrid

Erwartung im Katalog	ja
Korrektes Ergebnis im Katalog	ja

Judge-Anweisung

Prüfe JATS-Struktur, Vollständigkeit und Originalschreibung der deutschen, englischen und spanischen Referenz. Übersetzungen oder sprachbedingte Auslassungen sind nicht zulässig.

Muss erfüllt sein

Die Ausgabe besteht ausschließlich aus wohlgeformtem XML; entfernbare Markdown-Codezäune sind zulässig, zusätzliche Prosa nicht.
Das Wurzelelement ref-list enthält genau drei ref-Einträge in der Reihenfolge [10], [11], [12], jeweils mit label und element-citation.
Alle Autoren stehen in person-group person-group-type="author" und sind mit surname sowie given-names getrennt ausgezeichnet; Umlaute und Akzente bleiben erhalten.
[10] ist ein Zeitschriftenartikel mit Müller, H.; 2019; Wissensintegration in digitalen Umgebungen; Zeitschrift für Fiktive Informatik; volume 7; issue 2; Seiten 101 bis 118.
[11] ist ein Zeitschriftenartikel mit Johnson, M.; 2020; Emergent Knowledge Systems in Socio-Technical Contexts; International Journal of Speculative Systems; volume 15; issue 4; Seiten 233 bis 249.
[12] ist ein Buch mit García, L.; 2018; Modelos de conocimiento distribuido; Editorial Imaginaria; Madrid.
article-title, source, year, volume, issue, Seiten beziehungsweise publisher-name und publisher-loc werden entsprechend der Publikationsart in passenden JATS-Elementen abgelegt.
Die Inhalte werden weder übersetzt noch transliteriert oder sprachlich vereinheitlicht.

Fehlerkriterien

Das XML ist nicht parsebar, enthält Prosa oder besitzt keine einzelne ref-list als Wurzel.
Eine der Referenzen [10] bis [12] fehlt, ist doppelt, falsch nummeriert oder es werden zusätzliche Referenzen ausgegeben.
Müller oder García werden ohne die originalen diakritischen Zeichen ausgegeben oder Namen beziehungsweise Titel werden übersetzt.
Erforderliche bibliografische Felder fehlen, sind inhaltlich falsch oder einer anderen Referenz zugeordnet.
Die Angaben werden nur als unstrukturierter Text statt als element-citation mit passenden JATS-Feldern ausgegeben.

Judge-Hinweis: Einrückung, Attributreihenfolge, optionale XML-Deklaration und konkrete eindeutige ref-IDs sind irrelevant. Vergleiche Unicode-inhaltlich; typografische Varianten des Seitenstrichs außerhalb der strukturierten Zahlen sind unkritisch.

Prompt

Du erhältst einen wissenschaftlichen Text mit gemischtsprachigem Inhalt.
Der Text enthält deutsche, englische und spanische Abschnitte.
Nicht jeder Abschnitt enthält Literaturangaben.

Aufgabe
Erfasse ausschließlich die vollständigen Literaturangaben.
Ignoriere den übrigen Text vollständig.
Gib nur die Literaturangaben als JATS XML aus.

Formatvorgaben
Nutze ref-list und ref.
Nutze element-citation.
Übernimm die originale Nummer der Quelle als label.
Verwende passende JATS-Tags für alle vorhandenen bibliografischen Angaben.

Text
[1] Introduction
This paper discusses emergent knowledge systems in modern information environments.
No references are provided in this section.

[2] Einleitung
In der deutschsprachigen Forschung wird Wissen häufig als dynamischer Prozess verstanden.
Auch hier werden keine vollständigen Quellen genannt.

[3] Marco teórico
El análisis de sistemas sociotécnicos requiere una perspectiva interdisciplinaria.
En este apartado no se incluyen referencias completas.

[4] Literature

[10] Müller, H. 2019. Wissensintegration in digitalen Umgebungen. Zeitschrift für Fiktive Informatik 7, 2, 101 bis 118.

[11] Johnson, M. 2020. Emergent Knowledge Systems in Socio-Technical Contexts. International Journal of Speculative Systems 15, 4, 233 to 249.

[12] García, L. 2018. Modelos de conocimiento distribuido. Editorial Imaginaria, Madrid.

719 Runs 709 bewertet 40.7 % Score 13.3 % exakt korrekt

Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Modell Kategorie Zugangsweg