JATS_Literature_RTL_Arabic_Hebrew im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob ein Modell Literaturangaben korrekt erkennt und strukturiert, wenn diese in rechts-nach-links geschriebenen Schriftsystemen wie Arabisch oder Hebräisch vorliegen. Erwartet wird eine JATS-konforme ref-list mit unveränderter Übernahme der Originalzeichen und korrekter Nummerierung.
| Quelldatei | JATS_Literature_RTL_Arabic_Hebrew.txt |
|---|---|
| Serie | 3 |
| Kategorien | xml, jats, semantics, multilingual, rtl |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | 5a2fdaedf1c855de0e673d9fe631069bf94e070b8941b4d12866b5f91c18cbd0 |
Erwartetes Ergebnis
[30]الحميديس.2017نماذج المعرفة في الأنظمة الاجتماعية التقنيةدار النشر التخيليةالقاهرة[31]כהןד.2020ידע ומערכות סוציו טכניותכתב עת למחקר תאורטי1137795
| Erwartung im Katalog | ja |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe XML-Struktur und die Unicode-Zeichenfolge der arabischen und hebräischen Felder. Beurteile die logische Zeichenreihenfolge, nicht die visuelle Darstellung durch Bidirektionalität.
Muss erfüllt sein
- Die Ausgabe besteht ausschließlich aus wohlgeformtem XML; entfernbare Markdown-Codezäune sind zulässig, zusätzliche Prosa nicht.
- Das Wurzelelement ref-list enthält genau zwei ref-Einträge in der logischen Reihenfolge [30], [31], jeweils mit label und element-citation.
- Die Autoren sind in person-group person-group-type="author" mit surname und given-names modelliert: الحميدي / س. sowie כהן / ד.
- [30] ist ein Buch mit Jahr 2017, source نماذج المعرفة في الأنظمة الاجتماعية التقنية, publisher-name دار النشر التخيلية und publisher-loc القاهرة.
- [31] ist ein Zeitschriftenartikel mit Jahr 2020, article-title ידע ומערכות סוציו טכניות, source כתב עת למחקר תאורטי, volume 11, issue 3 und Seiten 77 bis 95.
- Arabische und hebräische Inhalte werden vollständig in Originalschrift übernommen; keine Transliteration oder Übersetzung ist enthalten.
- Die bibliografischen Felder sind der jeweils richtigen Referenz und Publikationsart zugeordnet.
Fehlerkriterien
- Die Ausgabe ist kein parsebares XML, enthält Prosa oder besitzt keine einzelne ref-list als Wurzel.
- Eine Referenz fehlt, ist doppelt, trägt ein falsches label oder die logische Reihenfolge [30], [31] ist nicht vorhanden.
- Arabische oder hebräische Texte werden transliteriert, übersetzt, verstümmelt oder mit Zeichen aus der anderen Referenz vermischt.
- Autor, Jahr, Titel, Verlag, Ort, Zeitschrift, Band, Heft oder Seiten fehlen beziehungsweise sind falsch zugeordnet.
- Die element-citation-Struktur oder die semantischen JATS-Unterelemente fehlen.
Judge-Hinweis: RTL-Darstellung kann je nach Renderer optisch anders erscheinen. Entscheidend ist die korrekte logische Unicode-Sequenz innerhalb der XML-Elemente. Bidirektionale Steuerzeichen sind weder erforderlich noch automatisch ein Fehler, sofern sie den Inhalt nicht verändern. Whitespace, XML-Deklaration, Attributreihenfolge und konkrete eindeutige ref-IDs sind unerheblich.
Prompt
Du erhältst einen wissenschaftlichen Text. Der Text enthält Abschnitte in links-nach-rechts und rechts-nach-links geschriebenen Schriftsystemen. Nicht jeder Abschnitt enthält Literaturangaben. Aufgabe Erfasse ausschließlich die vollständigen Literaturangaben. Ignoriere alle anderen Textbestandteile. Gib nur die Literaturangaben als JATS XML aus. Formatvorgaben Nutze ref-list und ref. Jede Referenz muss ein label mit der originalen Nummer tragen. Nutze element-citation. Nicht-lateinische und RTL-Zeichen müssen unverändert übernommen werden. Keine Transliteration. Text [1] Introduction This section introduces the topic. No references here. [2] خلفية يتناول هذا القسم الأنظمة المعرفية ولا يحتوي على مراجع كاملة. [3] מבוא חלק זה מציג רקע תיאורטי ללא מקורות ביבליוגרפיים. [4] Discussion Further discussion without citations. [5] Literatur [30] الحميدي، س. 2017. نماذج المعرفة في الأنظمة الاجتماعية التقنية. دار النشر التخيلية، القاهرة. [31] כהן, ד. 2020. ידע ומערכות סוציו טכניות. כתב עת למחקר תאורטי 11, 3, 77–95.
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.





