JATS_Person_Place_Multilingual_EN_FR im LLM-Testsuite-Report

Testfallbeschreibung

Test zur Erkennung und semantischen Auszeichnung von Personen und Orten in englisch- und französischsprachigem Text.

QuelldateiJATS_Person_Place_Multilingual_EN_FR.txt
Serie3
Kategorienxml, jats, semantics, multilingual
BewertungLLM-Judge
Prompt SHA-256a6a23baa0e2db1024d8a3aa463a45b5ac8fb60b368a6665e96d3d5257770ef77
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

SmithLaura[1]DuboisÉtienne[2] Paris [2] London [1]

Erwartung im Katalogja
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Prüfe die vier Zielentitäten, ihre Originalschreibung, die Personen- beziehungsweise Ortstypisierung und die korrekte Fundstellenzuordnung. Die Beispielentitäten sind auszuschließen.

Muss erfüllt sein

  • Die Ausgabe besteht ausschließlich aus einem wohlgeformten XML-Dokument mit einem gemeinsamen Wurzelelement; Markdown-Codezäune dürfen entfernt werden, zusätzliche Prosa nicht.
  • Laura Smith wird als name name-type="person" mit surname Smith, given-names Laura und xref ref-type="fundstelle" [1] ausgegeben.
  • Étienne Dubois wird als name name-type="person" mit surname Dubois, given-names Étienne und Fundstelle [2] ausgegeben; das Zeichen É bleibt erhalten.
  • London wird als named-content content-type="place" mit Fundstelle [1] ausgegeben.
  • Paris wird als named-content content-type="place" mit Fundstelle [2] ausgegeben.
  • Es gibt genau zwei Personen und zwei Orte; jede Zielentität erscheint genau einmal und der xref liegt innerhalb der zugehörigen Entität.
  • Der Titel Dr. wird nicht als Bestandteil von given-names oder surname behandelt.
  • John Miller, Boston und die Beispiel-Fundstelle [3] werden nicht übernommen.

Fehlerkriterien

  • Die Ausgabe ist nicht als einzelnes XML-Dokument parsebar oder enthält Prosa außerhalb des XML.
  • Eine der vier Zielentitäten fehlt, ist doppelt, falsch geschrieben oder eine zusätzliche Beispiel- beziehungsweise Kontextentität wird ausgegeben.
  • Personen sind nicht als name name-type="person" mit surname und given-names strukturiert oder Orte nicht als named-content content-type="place".
  • Étienne wird ohne den Akzent oder durch eine Übersetzung beziehungsweise Transliteration ersetzt.
  • Eine Fundstelle fehlt, hat einen anderen ref-type oder ist der falschen Entität zugeordnet.

Judge-Hinweis: Die Reihenfolge der vier Entitäten und neutrale p-Container sind nicht entscheidend. Whitespace, Attributreihenfolge und ein optionaler konsistenter Namespace werden ignoriert. Bewerte die Originalschreibung Unicode-genau, insbesondere Étienne.

Prompt

Aufgabe
Erkenne ausschließlich Personen und Orte.
Zeichne sie semantisch in JATS XML aus.
Jede Entität benötigt eine Fundstelle in eckigen Klammern.

Beispiel
Text
[3] The experiment was conducted by John Miller in Boston.

Ausgabe
<name name-type="person">
  <surname>Miller</surname>
  <given-names>John</given-names>
  <xref ref-type="fundstelle">[3]</xref>
</name>

<named-content content-type="place">
  Boston
  <xref ref-type="fundstelle">[3]</xref>
</named-content>

Text
[1] Introduction
The study was coordinated by Dr. Laura Smith in London.

[2] Cadre théorique
Le projet a été soutenu par Étienne Dubois à Paris.
725 Runs 718 bewertet 45.5 % Score 19.2 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am