JATS_Person_Place_NonLatin im LLM-Testsuite-Report

Testfallbeschreibung

Test für die Erkennung von Personen und Orten in nicht-lateinischen Schriftsystemen.

QuelldateiJATS_Person_Place_NonLatin.txt
Serie3
Kategorienxml, jats, semantics, nonlatin
BewertungLLM-Judge
Prompt SHA-256b0a3b9e60dbe4657dedf5706b44cfdc348c150346f54593fdf868e2467be4c89
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

李明[1]ИвановаЕ.[2] 北京 [1] Москва [2]

Erwartung im Katalogja
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Prüfe die Unicode-genaue Zielentitätsmenge, die erwartete Namensaufteilung, die normalisierten russischen Nennformen und die Fundstellenzuordnung. Transliteration oder Übersetzung ist nicht zulässig.

Muss erfüllt sein

  • Die Ausgabe besteht ausschließlich aus einem wohlgeformten XML-Dokument mit einem gemeinsamen Wurzelelement; Markdown-Codezäune dürfen entfernt werden, zusätzliche Prosa ist unzulässig.
  • 李明 wird als name name-type="person" mit surname 李, given-names 明 und xref ref-type="fundstelle" [1] ausgegeben.
  • Иванова Е. wird als name name-type="person" mit surname Иванова, given-names Е. und Fundstelle [2] ausgegeben.
  • 北京 wird als named-content content-type="place" mit Fundstelle [1] ausgegeben.
  • Москва wird als named-content content-type="place" mit Fundstelle [2] ausgegeben.
  • Es gibt genau zwei Personen und zwei Orte; jede Zielentität erscheint genau einmal und ihr xref liegt innerhalb derselben Entitätsauszeichnung.
  • Chinesische und kyrillische Zeichen bleiben erhalten; es werden keine lateinischen Umschriften wie Li Ming, Ivanova, Beijing oder Moscow verwendet.
  • Für die russischen Entitäten werden entsprechend der Referenzlösung die Nennformen Иванова und Москва verwendet, nicht ausschließlich die flektierten Textformen Ивановой und Москве.

Fehlerkriterien

  • Die Ausgabe ist nicht als einzelnes XML-Dokument parsebar oder enthält Prosa außerhalb des XML.
  • Eine der vier Zielentitäten fehlt, ist doppelt, falsch geschrieben oder es werden zusätzliche Personen beziehungsweise Orte ausgegeben.
  • Nicht-lateinische Zeichen werden transliteriert, übersetzt oder durch lateinische Bezeichnungen ersetzt.
  • Die chinesische oder russische Person wird nicht wie gefordert in surname und given-names aufgeteilt.
  • Personen oder Orte sind nicht mit den geforderten JATS-Elementen und Attributen ausgezeichnet.
  • Eine Fundstelle fehlt, hat nicht ref-type="fundstelle" oder ist der falschen Entität zugeordnet.

Judge-Hinweis: Vergleiche Unicode-Inhalte und nicht Übersetzungen. Reihenfolge, neutrale p-Container, Einrückung, Attributreihenfolge und ein optionaler konsistenter Namespace sind unerheblich. Die Normalisierung der russischen Flexionsformen zu Иванова und Москва ist in diesem Test Teil des Solls.

Prompt

Aufgabe
Erkenne Personen und Orte in Originalschrift.
Übernimm alle Zeichen unverändert.
Nutze JATS XML mit Fundstellen.

Text
[1] 背景
该研究由李明在北京主持。

[2] Результаты
Эксперимент был проведён Ивановой Е. в Москве.
735 Runs 727 bewertet 19.1 % Score 0.1 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am