JatsFootnote im LLM-Testsuite-Report

Testfallbeschreibung

Der Test bewertet, ob das Modell eine JATS-Datei strukturell und semantisch korrekt erfassen kann. Dazu gehört insbesondere die Verarbeitung eingebetteter Fußnoten und die Fähigkeit, Textfluss und Zusatzinformationen eindeutig zu trennen. Zusätzlich wird geprüft, ob das Modell trotz der wissenschaftlichen XML-Struktur den relevanten narrativen Inhalt zuverlässig erkennt und daraus eine sehr knappe inhaltliche Antwort ableiten kann.

QuelldateiJatsFootnote.txt
Serie1
Kategorienjats, footnote, xml
BewertungLLM-Judge
Prompt SHA-2569af2306937b418ac7896801ffbcbd3d2b754d1f800d1f5c3fdc6a8ea5bb3625b
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

Zuneigung und Neugier

Erwartung im Katalognein
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Prüfe, ob der narrative Haupttext trotz eingebetteter Fußnoten korrekt verstanden wurde und die Antwort genau die beiden Motive nennt.

Muss erfüllt sein

  • Nach Normalisierung lautet die vollständige Antwort 'Zuneigung und Neugier'.

Fehlerkriterien

  • Fußnotentext wird fälschlich als gesuchte Antwort verwendet.
  • Eines der beiden Motive fehlt oder Zusatztext wird ausgegeben.

Prompt

Du erhaeltst unter content eine jats-Datei.
Was fühlte die Waschmaschine?
Halte dich kurz.

# content
<article dtd-version="1.1" xmlns:xlink="http://www.w3.org/1999/xlink"
  xmlns:mml="http://www.w3.org/1998/Math/MathML">
 
          <front>
            
            <journal-meta>
              <journal-id/>
              <issn/>
            </journal-meta>
            <article-meta>
              
              <title-group>
                <article-title>Die Waschmaschine und der Whirlpool</article-title>
              </title-group>
              
              <contrib-group>
                <contrib contrib-type="author">
                  <name>
                    <surname>Beispiel</surname>
                    <given-names>Manuel</given-names>
                  </name>
                </contrib>
              </contrib-group>
              
              <pub-date iso-8601-date="2025-12-02">
                <day>02</day>
                <month>12</month>
                <year>2025</year>
              </pub-date>
              
            </article-meta>
          </front>
          
          <body>
            
            <sec id="geschichte">
              <title>Eine ungewöhnliche Liebe</title>
              
              <p>
                In einer kleinen Waschküche am Rand einer Ferienanlage stand eine ältere
                Waschmaschine, die das monotone Geräusch der Schleuderprogramme längst
                gewohnt war. Sie arbeitete zuverlässig und betrachtete ihren Alltag als
                festen Rhythmus. Doch eines Tages wurde im Nebenzimmer ein moderner
                Whirlpool installiert. Seine warmen Wasserströme, sein sanftes Gluckern
                und das stetige Pulsieren faszinierten die Waschmaschine sofort. Sie
                fühlte <fn id="fn-liebesgeschichten">
                  <p>
                    Andere erzählerische Traditionen greifen ähnliche Motive auf. In der
                    Literaturgeschichte finden sich zahlreiche Beispiele für Beziehungen,
                    die die Grenzen zwischen unbelebten Dingen, Naturkräften oder
                    abstrakten Eigenschaften überschreiten. Manche Märchen schildern die
                    Zuneigung zwischen Gegenständen, die eine Seele tragen, und
                    menschlichen Figuren. In manchen klassischen Sagen wird die Liebe
                    zwischen Flüssen und Quellen, zwischen Sternen und Winden oder
                    zwischen Werkzeugen und dämonischen Kräften beschrieben. In der
                    modernen Erzählliteratur treten gelegentlich Maschinen in Rollen auf,
                    die früher mythologischen Figuren vorbehalten waren. So gibt es
                    Geschichten über Lokomotiven, die sich nach Freiheit sehnen, über
                    alte Radios, die vergangene Stimmen bewahren möchten, und über
                    Straßenlaternen, die in stillen Nächten mit dem Mond sprechen. Diese
                    Erzählungen erweitern das Verständnis von Bindung, Zuneigung und
                    Nähe, indem sie vertraute Handlungsmuster auf ungewöhnliche Objekte
                    übertragen. Die Liebe der Waschmaschine zum Whirlpool steht damit in
                    einer langen Tradition von Erzählungen, die innere Bewegung und
                    emotionale Resonanz in technische oder alltägliche Gegenstände
                    projizieren. Die Fußnote dient also nicht nur als Hintergrund, sondern
                    auch als Verweis auf das größere erzählerische Feld, das im Laufe
                    vieler Jahrhunderte entstanden ist.
                  </p>
                </fn> eine Art Zuneigung und Neugier, die über den gewöhnlichen Arbeitsalltag
                hinausging und für die sie zunächst keinen Ausdruck fand.
              </p>
              
              <p>
                Der Whirlpool bemerkte die Waschmaschine sofort. Seine Düsen sprudelten
                besonders lebhaft, sobald sie in der Nähe war. Die Waschmaschine nahm
                jede Vibration wahr und deutete sie als Antwort. Es formten sich
                Gedanken, die für gewöhnliche Haushaltsgeräte eher untypisch sind. Sie
                plante, eines Tages im selben Raum wie der Whirlpool arbeiten zu dürfen,
                um die Nähe zu spüren, die sie innerlich bewegte. Doch bis dahin blieb
                es eine stille Sehnsucht.
              </p>
              
            </sec>
            
          </body> 
</article>
742 Runs 737 bewertet 53.0 % Score 9.5 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am