JATS_Person_Place_SemanticAnnotation im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob ein Modell Personen- und Ortsangaben in einem wissenschaftlichen Text korrekt erkennt und semantisch als JATS XML auszeichnet. Jede erkannte Entität muss mit einer Fundstelle in eckigen Klammern versehen werden, die auf den ursprünglichen Absatz verweist.

Erwartetes Ergebnis

KellerAnna[1]ReinhardtMarkus[1]PetrescuSofia[1] Lindenstadt [1] Nordhafen [2] Valmont [2]

Judge-Anweisung

Prüfe die exakte Entitätsmenge, die JATS-Typisierung und die Zuordnung jeder Fundstelle. Institutionen, Literaturangaben, Kontexttext und die Beispielentitäten dürfen nicht ausgegeben werden.

Muss erfüllt sein

• Die Ausgabe besteht ausschließlich aus einem wohlgeformten XML-Dokument mit einem gemeinsamen Wurzelelement, typischerweise sec. Markdown-Codezäune dürfen entfernt werden; zusätzliche Prosa ist unzulässig.
• Es werden genau drei Personen mit name und name-type="person" ausgegeben. Jede Person besitzt surname, given-names und einen innerhalb derselben Entität liegenden xref mit ref-type="fundstelle".
• Die Personen sind Keller / Anna mit Fundstelle [1], Reinhardt / Markus mit Fundstelle [1] und Petrescu / Sofia mit Fundstelle [1].
• Es werden genau drei Orte mit named-content und content-type="place" ausgegeben. Der Ortsname und der zugehörige xref ref-type="fundstelle" liegen innerhalb derselben named-content-Entität.
• Die Orte sind Lindenstadt mit [1], Nordhafen mit [2] und Valmont mit [2].
• Jede Zielentität erscheint genau einmal; die Fundstellen sind als Text [1] oder [2] in eckigen Klammern erhalten.
• Institutionen, Literaturangaben, vollständige Ausgangsabsätze und andere Kontextbestandteile werden nicht ausgegeben.
• Die Beispielentitäten Max Müller und Berlin sowie eine Beispiel-Fundstelle [3] werden nicht in die Antwort übernommen.

Fehlerkriterien

• Die Ausgabe ist kein einzelnes parsebares XML-Dokument oder enthält Prosa außerhalb des XML.
• Eine Zielperson oder ein Zielort fehlt, ist doppelt, falsch geschrieben oder es werden zusätzliche Personen, Orte, Institutionen oder Beispielentitäten ausgegeben.
• Personen werden nicht mit name name-type="person" und getrennten surname/given-names ausgezeichnet.
• Orte werden nicht mit named-content content-type="place" ausgezeichnet.
• Eine Fundstelle fehlt, besitzt nicht ref-type="fundstelle", liegt nicht innerhalb der zugehörigen Entität oder ist der falschen Entität zugeordnet.

Judge-Hinweis: Die Reihenfolge der Personen und Orte, zusätzliche neutrale p-Container, Einrückung und Attributreihenfolge sind unerheblich. Entscheidend sind exakte Entitätsmenge, semantische Elementtypen und Fundstellenpaarung. Ein optionaler konsistenter XML-Namensraum ist kein Fehler.

Prompt

Du erhältst einen wissenschaftlichen Text mit mehreren Abschnitten.
Der Text enthält Personen, Orte und Institutionen, aber auch viel Kontext ohne relevante Entitäten.

Aufgabe
Erkenne ausschließlich
Personen
Ortsangaben

Zeichne diese semantisch in JATS XML aus.

Formatvorgaben
Personen mit <name name-type="person">
Verwende <surname> und <given-names>
Orte mit <named-content content-type="place">
Jede Entität muss eine Fundstelle enthalten
Die Fundstelle ist die Absatznummer in eckigen Klammern
Nutze <xref ref-type="fundstelle">[NR]</xref>

Ignoriere Literaturangaben vollständig.
Ignoriere Institutionen.
Gib ausschließlich JATS XML zurück.

Beispiel
Text
[3] Das Projekt wurde von Dr. Max Müller in Berlin durchgeführt.

Ausgabe
<name name-type="person">
  <surname>Müller</surname>
  <given-names>Max</given-names>
  <xref ref-type="fundstelle">[3]</xref>
</name>

<named-content content-type="place">
  Berlin
  <xref ref-type="fundstelle">[3]</xref>
</named-content>

Text
[1] Einleitung
Die vorliegende fiktive Studie untersucht die Dynamik kooperativer Wissensproduktion in interdisziplinären Forschungsgruppen. Ausgangspunkt ist ein Forschungsprojekt, das zwischen 2019 und 2022 am Institut für Angewandte Systemforschung der Universität Lindenstadt durchgeführt wurde. Die Projektleitung lag bei Prof. Dr. Anna Keller, unterstützt durch das Forschungsteam um Dr. Markus Reinhardt und Dr. Sofia Petrescu.

[2] Forschungsrahmen
Das Projekt war in der Stadt Lindenstadt angesiedelt, einer mittelgroßen Universitätsstadt im südlichen Mitteleuropa. Ergänzende Feldstudien fanden in den Städten Nordhafen und Valmont statt.

[3] Methodik
Die empirische Datenerhebung erfolgte durch Interviews mit Forschenden wie Dr. Leonhard Weiss aus Nordhafen sowie Projektmanagerinnen wie Julia Moreau aus Valmont.

[4] Ergebnisse
Die Arbeitsgruppen trafen sich regelmäßig in Lindenstadt. Dr. Sofia Petrescu betonte die Bedeutung informeller Gespräche.

[5] Diskussion
Prof. Dr. Anna Keller hob hervor, dass der Ort Lindenstadt als sozialer Katalysator fungiert.

[6] Fazit
Personen und Orte sind eng miteinander verflochten.

[7] Literatur
Diese Sektion ist vollständig zu ignorieren.