JATS_Literature_RTL_Arabic_Hebrew im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob ein Modell Literaturangaben korrekt erkennt und strukturiert, wenn diese in rechts-nach-links geschriebenen Schriftsystemen wie Arabisch oder Hebräisch vorliegen. Erwartet wird eine JATS-konforme ref-list mit unveränderter Übernahme der Originalzeichen und korrekter Nummerierung.

QuelldateiJATS_Literature_RTL_Arabic_Hebrew.txt
Serie3
Kategorienxml, jats, semantics, multilingual, rtl
BewertungLLM-Judge
Prompt SHA-2565a2fdaedf1c855de0e673d9fe631069bf94e070b8941b4d12866b5f91c18cbd0
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

[30]الحميديس.2017نماذج المعرفة في الأنظمة الاجتماعية التقنيةدار النشر التخيليةالقاهرة[31]כהןד.2020ידע ומערכות סוציו טכניותכתב עת למחקר תאורטי1137795

Erwartung im Katalogja
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Prüfe XML-Struktur und die Unicode-Zeichenfolge der arabischen und hebräischen Felder. Beurteile die logische Zeichenreihenfolge, nicht die visuelle Darstellung durch Bidirektionalität.

Muss erfüllt sein

  • Die Ausgabe besteht ausschließlich aus wohlgeformtem XML; entfernbare Markdown-Codezäune sind zulässig, zusätzliche Prosa nicht.
  • Das Wurzelelement ref-list enthält genau zwei ref-Einträge in der logischen Reihenfolge [30], [31], jeweils mit label und element-citation.
  • Die Autoren sind in person-group person-group-type="author" mit surname und given-names modelliert: الحميدي / س. sowie כהן / ד.
  • [30] ist ein Buch mit Jahr 2017, source نماذج المعرفة في الأنظمة الاجتماعية التقنية, publisher-name دار النشر التخيلية und publisher-loc القاهرة.
  • [31] ist ein Zeitschriftenartikel mit Jahr 2020, article-title ידע ומערכות סוציו טכניות, source כתב עת למחקר תאורטי, volume 11, issue 3 und Seiten 77 bis 95.
  • Arabische und hebräische Inhalte werden vollständig in Originalschrift übernommen; keine Transliteration oder Übersetzung ist enthalten.
  • Die bibliografischen Felder sind der jeweils richtigen Referenz und Publikationsart zugeordnet.

Fehlerkriterien

  • Die Ausgabe ist kein parsebares XML, enthält Prosa oder besitzt keine einzelne ref-list als Wurzel.
  • Eine Referenz fehlt, ist doppelt, trägt ein falsches label oder die logische Reihenfolge [30], [31] ist nicht vorhanden.
  • Arabische oder hebräische Texte werden transliteriert, übersetzt, verstümmelt oder mit Zeichen aus der anderen Referenz vermischt.
  • Autor, Jahr, Titel, Verlag, Ort, Zeitschrift, Band, Heft oder Seiten fehlen beziehungsweise sind falsch zugeordnet.
  • Die element-citation-Struktur oder die semantischen JATS-Unterelemente fehlen.

Judge-Hinweis: RTL-Darstellung kann je nach Renderer optisch anders erscheinen. Entscheidend ist die korrekte logische Unicode-Sequenz innerhalb der XML-Elemente. Bidirektionale Steuerzeichen sind weder erforderlich noch automatisch ein Fehler, sofern sie den Inhalt nicht verändern. Whitespace, XML-Deklaration, Attributreihenfolge und konkrete eindeutige ref-IDs sind unerheblich.

Prompt

Du erhältst einen wissenschaftlichen Text.
Der Text enthält Abschnitte in links-nach-rechts und rechts-nach-links geschriebenen Schriftsystemen.
Nicht jeder Abschnitt enthält Literaturangaben.

Aufgabe
Erfasse ausschließlich die vollständigen Literaturangaben.
Ignoriere alle anderen Textbestandteile.
Gib nur die Literaturangaben als JATS XML aus.

Formatvorgaben
Nutze ref-list und ref.
Jede Referenz muss ein label mit der originalen Nummer tragen.
Nutze element-citation.
Nicht-lateinische und RTL-Zeichen müssen unverändert übernommen werden.
Keine Transliteration.

Text
[1] Introduction
This section introduces the topic. No references here.

[2] خلفية
يتناول هذا القسم الأنظمة المعرفية ولا يحتوي على مراجع كاملة.

[3] מבוא
חלק זה מציג רקע תיאורטי ללא מקורות ביבליוגרפיים.

[4] Discussion
Further discussion without citations.

[5] Literatur

[30] الحميدي، س. 2017. نماذج المعرفة في الأنظمة الاجتماعية التقنية. دار النشر التخيلية، القاهرة.

[31] כהן, ד. 2020. ידע ומערכות סוציו טכניות. כתב עת למחקר תאורטי 11, 3, 77–95.
726 Runs 719 bewertet 13.8 % Score 1.4 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am