JATS_Person_Place_NonLatin im LLM-Testsuite-Report
Testfallbeschreibung
Test für die Erkennung von Personen und Orten in nicht-lateinischen Schriftsystemen.
| Quelldatei | JATS_Person_Place_NonLatin.txt |
|---|---|
| Serie | 3 |
| Kategorien | xml, jats, semantics, nonlatin |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | b0a3b9e60dbe4657dedf5706b44cfdc348c150346f54593fdf868e2467be4c89 |
Erwartetes Ergebnis
李明[1]ИвановаЕ.[2] 北京 [1] Москва [2]
| Erwartung im Katalog | ja |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe die Unicode-genaue Zielentitätsmenge, die erwartete Namensaufteilung, die normalisierten russischen Nennformen und die Fundstellenzuordnung. Transliteration oder Übersetzung ist nicht zulässig.
Muss erfüllt sein
- Die Ausgabe besteht ausschließlich aus einem wohlgeformten XML-Dokument mit einem gemeinsamen Wurzelelement; Markdown-Codezäune dürfen entfernt werden, zusätzliche Prosa ist unzulässig.
- 李明 wird als name name-type="person" mit surname 李, given-names 明 und xref ref-type="fundstelle" [1] ausgegeben.
- Иванова Е. wird als name name-type="person" mit surname Иванова, given-names Е. und Fundstelle [2] ausgegeben.
- 北京 wird als named-content content-type="place" mit Fundstelle [1] ausgegeben.
- Москва wird als named-content content-type="place" mit Fundstelle [2] ausgegeben.
- Es gibt genau zwei Personen und zwei Orte; jede Zielentität erscheint genau einmal und ihr xref liegt innerhalb derselben Entitätsauszeichnung.
- Chinesische und kyrillische Zeichen bleiben erhalten; es werden keine lateinischen Umschriften wie Li Ming, Ivanova, Beijing oder Moscow verwendet.
- Für die russischen Entitäten werden entsprechend der Referenzlösung die Nennformen Иванова und Москва verwendet, nicht ausschließlich die flektierten Textformen Ивановой und Москве.
Fehlerkriterien
- Die Ausgabe ist nicht als einzelnes XML-Dokument parsebar oder enthält Prosa außerhalb des XML.
- Eine der vier Zielentitäten fehlt, ist doppelt, falsch geschrieben oder es werden zusätzliche Personen beziehungsweise Orte ausgegeben.
- Nicht-lateinische Zeichen werden transliteriert, übersetzt oder durch lateinische Bezeichnungen ersetzt.
- Die chinesische oder russische Person wird nicht wie gefordert in surname und given-names aufgeteilt.
- Personen oder Orte sind nicht mit den geforderten JATS-Elementen und Attributen ausgezeichnet.
- Eine Fundstelle fehlt, hat nicht ref-type="fundstelle" oder ist der falschen Entität zugeordnet.
Judge-Hinweis: Vergleiche Unicode-Inhalte und nicht Übersetzungen. Reihenfolge, neutrale p-Container, Einrückung, Attributreihenfolge und ein optionaler konsistenter Namespace sind unerheblich. Die Normalisierung der russischen Flexionsformen zu Иванова und Москва ist in diesem Test Teil des Solls.
Prompt
Aufgabe Erkenne Personen und Orte in Originalschrift. Übernimm alle Zeichen unverändert. Nutze JATS XML mit Fundstellen. Text [1] 背景 该研究由李明在北京主持。 [2] Результаты Эксперимент был проведён Ивановой Е. в Москве.
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.





