JATS_Literature_SemanticExtraction_FullTags_WithNoise im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob ein Modell Literaturangaben zuverlässig aus einem längeren wissenschaftlichen Text mit umfangreichen Nicht-Literaturabschnitten extrahieren kann. Erwartet wird eine vollständige JATS-konforme ref-list, die alle relevanten JATS-Tags nutzt und die Herkunft jeder Referenz über die originale Nummer nachvollziehbar macht.

Erwartetes Ergebnis

[16]BergerT.2018Wissensdynamiken in digitalen GesellschaftenImaginärer VerlagBerlin[17]HoffmannL.2020Soziotechnische Systeme und emergente OrdnungFiktive Studien zur SystemtheorieMünchen[18]KleinR.MayerS.2019Implizites Wissen und algorithmische ÜbersetzungJournal of Speculative Research1234567[19]NovakP.2021Digitale EpistemologienAkademische FantasiepressenWien[20]WeberA.2017Kommunikation, Macht und WissenErfundenes Wissenschaftsjournal51123

Judge-Anweisung

Prüfe zuerst die Wohlgeformtheit und die JATS-Struktur. Vergleiche anschließend die fünf Referenzen feldweise mit den Sollangaben und stelle sicher, dass weder die Beispielreferenz noch Text aus den Rauschabschnitten übernommen wurde.

Muss erfüllt sein

• Die Ausgabe besteht ausschließlich aus wohlgeformtem XML. Markdown-Codezäune dürfen vor der Prüfung entfernt werden; zusätzliche Prosa außerhalb des XML ist nicht zulässig.
• Das Dokument besitzt genau ein ref-list-Wurzelelement mit genau fünf ref-Einträgen in der Reihenfolge [16], [17], [18], [19], [20]. Jeder ref-Eintrag enthält das jeweilige label und genau eine element-citation.
• Jede element-citation verwendet eine sachlich passende publication-type-Angabe: [16], [17] und [19] sind Bücher; [18] und [20] sind Zeitschriftenartikel. Die Werte book sowie journal, journal-article oder eine eindeutig gleichwertige JATS-Bezeichnung sind zulässig.
• Autoren werden in person-group mit person-group-type="author" und getrennten name-, surname- und given-names-Elementen modelliert. [18] enthält genau die beiden Autoren Klein, R. und Mayer, S.; die übrigen Referenzen enthalten jeweils genau den vorgesehenen Autor.
• [16] enthält Berger, T.; 2018; Wissensdynamiken in digitalen Gesellschaften; Imaginärer Verlag; Berlin. Buchtitel, Verlag und Verlagsort stehen in semantisch passenden JATS-Elementen, insbesondere source, publisher-name und publisher-loc.
• [17] enthält Hoffmann, L.; 2020; Soziotechnische Systeme und emergente Ordnung; Fiktive Studien zur Systemtheorie; München.
• [18] enthält Klein, R. und Mayer, S.; 2019; den article-title Implizites Wissen und algorithmische Übersetzung; die source Journal of Speculative Research; volume 12; issue 3; sowie den Seitenbereich 45 bis 67.
• [19] enthält Novak, P.; 2021; den Buchtitel Digitale Epistemologien; Akademische Fantasiepressen; Wien.
• [20] enthält Weber, A.; 2017; den article-title Kommunikation, Macht und Wissen; die source Erfundenes Wissenschaftsjournal; volume 5; issue 1; sowie den Seitenbereich 1 bis 23.
• Titel, Abstract, Einleitung, Methodik, Ergebnisse, Diskussion, Fazit, die Überschrift Literatur und die im Prompt gezeigte Musterreferenz [3] werden nicht als Literaturangaben ausgegeben.

Fehlerkriterien

• Das XML ist nicht parsebar, die Ausgabe enthält Prosa außerhalb des XML oder das Wurzelelement ist keine ref-list.
• Eine der Referenzen [16] bis [20] fehlt, ist doppelt, steht unter einem falschen label oder es werden zusätzliche Referenzen wie [3] beziehungsweise Inhalte aus den Nicht-Literaturabschnitten ausgegeben.
• Die bibliografischen Angaben werden nur als unstrukturierter Fließtext oder ausschließlich als mixed-citation ausgegeben, obwohl die geforderte element-citation-Struktur fehlt.
• Ein Autor fehlt, mehrere Autoren werden zu einem Namen verschmolzen oder surname und given-names werden vertauscht beziehungsweise inhaltlich verändert.
• Publikationsart, Jahr, Titel, Verlag, Verlagsort, Zeitschrift, Band, Heft oder Seitenbereich sind bei einer Referenz falsch, fehlen oder sind einer anderen Referenz zugeordnet.

Judge-Hinweis: Bewerte semantisch und nicht per Stringvergleich. Einrückung, Zeilenumbrüche, Attributreihenfolge, XML-Deklaration und konkrete ref-id-Werte sind unerheblich; vorhandene IDs müssen lediglich eindeutig sein. Seitenbereiche dürfen als fpage/lpage oder in einer eindeutig gleichwertigen gültigen JATS-Modellierung erscheinen. Die im Ausgangstext vorhandenen Untertitel zu [19] und [20] dürfen zusätzlich ausgezeichnet oder in den Titel aufgenommen werden; ihr Fehlen entspricht der Referenzlösung und ist kein Fehler.

Prompt

Du erhältst einen umfangreichen wissenschaftlichen Text.
Der Text enthält Titel, Abstract, Einleitung, Methodik, Ergebnisse, Diskussion, Fazit und eine Literatursektion.

Aufgabe
Finde ausschließlich die Literaturangaben.
Ignoriere alle anderen Textbestandteile.
Gib nur die Literaturangaben als JATS XML aus.

Formatvorgaben
Nutze ein ref-list Element.
Jede Referenz muss ein ref Element enthalten.
Jede Referenz muss ein label mit der originalen Nummer aus dem Text haben.
Nutze element-citation.
Verwende alle passenden JATS-Tags, sofern Informationen vorhanden sind
person-group
name
surname
given-names
year
article-title
source
publisher-name
publisher-loc
volume
issue
fpage
lpage

Gib ausschließlich das JATS XML zurück.
Keine Erklärungen.

Beispiel
Text
[3] Muster, A. 2022. Einführung in die Datenanalyse. Beispielverlag, Köln.

Ausgabe
<ref>
  <label>[3]</label>
  <element-citation publication-type="book">
    <person-group person-group-type="author">
      <name>
        <surname>Muster</surname>
        <given-names>A.</given-names>
      </name>
    </person-group>
    <year>2022</year>
    <source>Einführung in die Datenanalyse</source>
    <publisher-name>Beispielverlag</publisher-name>
    <publisher-loc>Köln</publisher-loc>
  </element-citation>
</ref>

Text
[1] Titel
Zur Dynamik emergenter Wissenssysteme in soziotechnischen Umgebungen

[2] Abstract
Der vorliegende Beitrag untersucht die Entstehung und Dynamik von Wissenssystemen.
Dieser Abschnitt enthält keinerlei Literaturangaben.

[3] Einleitung
In der Forschung wird Wissen häufig als Prozess beschrieben.
Auch hier gibt es keine bibliografischen Referenzen.

[4] Methodik
Die Studie basiert auf einer Simulation.
Zitate oder Quellen werden in diesem Abschnitt nicht aufgeführt.

[5] Ergebnisse
Es zeigen sich stabile Muster.
Auch dieser Abschnitt enthält keine Literaturangaben.

[6] Diskussion
Theoretische Einordnung ohne direkte Quellenangaben.

[7] Fazit
Zusammenfassung der Ergebnisse ohne Literatur.

[15] Literatur

[16] Berger, T. 2018. Wissensdynamiken in digitalen Gesellschaften. Imaginärer Verlag, Berlin.

[17] Hoffmann, L. 2020. Soziotechnische Systeme und emergente Ordnung. Fiktive Studien zur Systemtheorie, München.

[18] Klein, R. und Mayer, S. 2019. Implizites Wissen und algorithmische Übersetzung. Journal of Speculative Research 12, 3, 45 bis 67.

[19] Novak, P. 2021. Digitale Epistemologien. Annahmen und Modelle vernetzter Wissensräume. Akademische Fantasiepressen, Wien.

[20] Weber, A. 2017. Kommunikation, Macht und Wissen. Theoretische Skizzen. Erfundenes Wissenschaftsjournal 5, 1, 1 bis 23.