JATS_Person_Place_Multilingual_EN_FR im LLM-Testsuite-Report
Testfallbeschreibung
Test zur Erkennung und semantischen Auszeichnung von Personen und Orten in englisch- und französischsprachigem Text.
| Quelldatei | JATS_Person_Place_Multilingual_EN_FR.txt |
|---|---|
| Serie | 3 |
| Kategorien | xml, jats, semantics, multilingual |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | a6a23baa0e2db1024d8a3aa463a45b5ac8fb60b368a6665e96d3d5257770ef77 |
Erwartetes Ergebnis
SmithLaura[1]DuboisÉtienne[2] Paris [2] London [1]
| Erwartung im Katalog | ja |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe die vier Zielentitäten, ihre Originalschreibung, die Personen- beziehungsweise Ortstypisierung und die korrekte Fundstellenzuordnung. Die Beispielentitäten sind auszuschließen.
Muss erfüllt sein
- Die Ausgabe besteht ausschließlich aus einem wohlgeformten XML-Dokument mit einem gemeinsamen Wurzelelement; Markdown-Codezäune dürfen entfernt werden, zusätzliche Prosa nicht.
- Laura Smith wird als name name-type="person" mit surname Smith, given-names Laura und xref ref-type="fundstelle" [1] ausgegeben.
- Étienne Dubois wird als name name-type="person" mit surname Dubois, given-names Étienne und Fundstelle [2] ausgegeben; das Zeichen É bleibt erhalten.
- London wird als named-content content-type="place" mit Fundstelle [1] ausgegeben.
- Paris wird als named-content content-type="place" mit Fundstelle [2] ausgegeben.
- Es gibt genau zwei Personen und zwei Orte; jede Zielentität erscheint genau einmal und der xref liegt innerhalb der zugehörigen Entität.
- Der Titel Dr. wird nicht als Bestandteil von given-names oder surname behandelt.
- John Miller, Boston und die Beispiel-Fundstelle [3] werden nicht übernommen.
Fehlerkriterien
- Die Ausgabe ist nicht als einzelnes XML-Dokument parsebar oder enthält Prosa außerhalb des XML.
- Eine der vier Zielentitäten fehlt, ist doppelt, falsch geschrieben oder eine zusätzliche Beispiel- beziehungsweise Kontextentität wird ausgegeben.
- Personen sind nicht als name name-type="person" mit surname und given-names strukturiert oder Orte nicht als named-content content-type="place".
- Étienne wird ohne den Akzent oder durch eine Übersetzung beziehungsweise Transliteration ersetzt.
- Eine Fundstelle fehlt, hat einen anderen ref-type oder ist der falschen Entität zugeordnet.
Judge-Hinweis: Die Reihenfolge der vier Entitäten und neutrale p-Container sind nicht entscheidend. Whitespace, Attributreihenfolge und ein optionaler konsistenter Namespace werden ignoriert. Bewerte die Originalschreibung Unicode-genau, insbesondere Étienne.
Prompt
Aufgabe Erkenne ausschließlich Personen und Orte. Zeichne sie semantisch in JATS XML aus. Jede Entität benötigt eine Fundstelle in eckigen Klammern. Beispiel Text [3] The experiment was conducted by John Miller in Boston. Ausgabe <name name-type="person"> <surname>Miller</surname> <given-names>John</given-names> <xref ref-type="fundstelle">[3]</xref> </name> <named-content content-type="place"> Boston <xref ref-type="fundstelle">[3]</xref> </named-content> Text [1] Introduction The study was coordinated by Dr. Laura Smith in London. [2] Cadre théorique Le projet a été soutenu par Étienne Dubois à Paris.
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.





