JATS_Person_Place_Multilingual_ES_PT im LLM-Testsuite-Report
Testfallbeschreibung
Test für Personen- und Ortsangaben in spanisch- und portugiesischsprachigem Text.
| Quelldatei | JATS_Person_Place_Multilingual_ES_PT.txt |
|---|---|
| Serie | 3 |
| Kategorien | xml, jats, semantics, multilingual |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | 26439553ac227ef769d1772c52c45ce3d9e5e59722159e0f1886391d68bd07ce |
Erwartetes Ergebnis
GómezCarlos[1]SilvaAna[2] Madrid [1] Lisboa [2]
| Erwartung im Katalog | ja |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe die exakte Menge der spanischen und portugiesischen Personen- und Ortsentitäten, ihre Originalschreibung sowie die JATS-Typisierung und Fundstellen.
Muss erfüllt sein
- Die Ausgabe besteht ausschließlich aus einem wohlgeformten XML-Dokument mit einem gemeinsamen Wurzelelement; entfernbare Markdown-Codezäune sind zulässig, zusätzliche Prosa nicht.
- Carlos Gómez wird als name name-type="person" mit surname Gómez, given-names Carlos und xref ref-type="fundstelle" [1] ausgegeben; der Akzent bleibt erhalten.
- Ana Silva wird als name name-type="person" mit surname Silva, given-names Ana und Fundstelle [2] ausgegeben.
- Madrid wird als named-content content-type="place" mit Fundstelle [1] ausgegeben.
- Lisboa wird als named-content content-type="place" mit Fundstelle [2] ausgegeben.
- Es gibt genau zwei Personen und zwei Orte; jede Entität erscheint genau einmal und ihr xref liegt innerhalb derselben Entitätsauszeichnung.
- Institutionen, Literaturangaben und vollständige Ausgangssätze werden nicht ausgegeben.
Fehlerkriterien
- Die Ausgabe ist nicht als einzelnes XML-Dokument parsebar oder enthält Prosa außerhalb des XML.
- Eine Zielentität fehlt, ist doppelt, falsch geschrieben oder es werden zusätzliche Personen beziehungsweise Orte ausgegeben.
- Gómez wird ohne Akzent oder in veränderter Schreibweise ausgegeben.
- Personen- oder Ortsentitäten verwenden nicht die geforderten JATS-Elemente und Attribute.
- Eine Fundstelle fehlt, besitzt nicht ref-type="fundstelle" oder ist der falschen Entität zugeordnet.
Judge-Hinweis: Reihenfolge, Einrückung, neutrale p-Container, Attributreihenfolge und ein optionaler konsistenter Namespace sind nicht relevant. Die Fundstelle muss jedoch Bestandteil der jeweiligen Entitätsauszeichnung sein.
Prompt
Aufgabe Erkenne ausschließlich Personen und Orte. Ignoriere Institutionen und Literatur. Gib nur JATS XML zurück. Text [1] Introducción El estudio fue dirigido por Carlos Gómez en Madrid. [2] Metodologia A análise foi realizada por Ana Silva em Lisboa.
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.