JATS_Literature_InTextAndSection_Mixed im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob ein Modell Literaturangaben korrekt erkennt, wenn diese sowohl in einer Literatursektion als auch referenzartig im Fließtext auftreten. Nur echte Literaturangaben dürfen extrahiert werden.
| Quelldatei | JATS_Literature_InTextAndSection_Mixed.txt |
|---|---|
| Serie | 3 |
| Kategorien | xml, jats, semantics |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | b8285db83fb3d3d8e8f255f0ff94cfd8cf228aaecf5c7acafa7732858c9ee2b1 |
Erwartetes Ergebnis
[7]SchulzP.2018Dynamiken verteilter WissensräumeSpeculative Systems Review911029[8]FischerL.2021Soziotechnische Netzwerke verstehenGedachter VerlagKöln
| Erwartung im Katalog | ja |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe die zwei vollständigen Referenzen feldweise und unterscheide sie strikt von den unvollständigen Autor-Jahr-Verweisen im Fließtext.
Muss erfüllt sein
- Die Ausgabe besteht ausschließlich aus wohlgeformtem XML; Markdown-Codezäune dürfen entfernt werden, zusätzliche Prosa ist unzulässig.
- Das Wurzelelement ref-list enthält genau zwei ref-Einträge in der Reihenfolge [7], [8], jeweils mit korrektem label und element-citation.
- Autoren werden über person-group person-group-type="author" sowie name, surname und given-names semantisch strukturiert.
- [7] ist ein Zeitschriftenartikel mit Schulz, P.; 2018; article-title Dynamiken verteilter Wissensräume; source Speculative Systems Review; volume 9; issue 1; Seiten 10 bis 29.
- [8] ist ein Buch mit Fischer, L.; 2021; source Soziotechnische Netzwerke verstehen; publisher-name Gedachter Verlag; publisher-loc Köln.
- Die Erwähnungen Schulz (2018) und Fischer (2021) in den Absätzen [1] und [2] führen nicht zu zusätzlichen oder doppelten ref-Einträgen.
Fehlerkriterien
- Die Ausgabe ist nicht parsebar, enthält Prosa oder verwendet keine ref-list als Wurzel.
- Es gibt nicht genau die beiden Referenzen [7] und [8], eine ist doppelt oder die Labels beziehungsweise Reihenfolge sind falsch.
- Unvollständige In-Text-Verweise werden als eigene Literaturangaben ausgegeben oder die Fließtextabsätze werden übernommen.
- Die semantische element-citation-Struktur oder erforderliche Autoren-, Titel-, Jahres- und Publikationsfelder fehlen.
- Band, Heft, Seitenbereich, Verlag oder Verlagsort sind falsch beziehungsweise der falschen Referenz zugeordnet.
Judge-Hinweis: Bewerte den Inhalt feldweise. Formatierung, optionale eindeutige ref-IDs und syntaktisch gleichwertige publication-type-Werte sind unerheblich. Der zentrale Testpunkt ist die Entdoppelung: Nur die vollständigen Einträge der Literatursektion zählen.
Prompt
Du erhältst einen wissenschaftlichen Text. Der Text enthält Literaturangaben sowohl im Fließtext als auch in einer expliziten Literatursektion. Aufgabe Erfasse ausschließlich die vollständigen Literaturangaben. Ignoriere bloße In-Text-Verweise ohne vollständige bibliografische Angaben. Gib nur die Literaturangaben als JATS XML aus. Text [1] Einleitung In der Forschung zu Wissenssystemen wird häufig auf frühere Arbeiten verwiesen, etwa auf Schulz (2018), ohne diese vollständig auszuführen. [2] Haupttext Die theoretischen Grundlagen orientieren sich an bestehenden Modellen. Ein Ansatz findet sich bei Fischer (2021), der soziotechnische Netzwerke beschreibt. [3] Weitere Ausführungen Hier werden Konzepte diskutiert, ohne neue Quellen einzuführen. [4] Literatur [7] Schulz, P. 2018. Dynamiken verteilter Wissensräume. Speculative Systems Review 9, 1, 10 bis 29. [8] Fischer, L. 2021. Soziotechnische Netzwerke verstehen. Gedachter Verlag, Köln.
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.