Docbook im LLM-Testsuite-Report

Testfallbeschreibung

Der Test überprüft, ob das Modell eine DocBook-Datei semantisch erfassen und eine gezielte inhaltliche Frage sehr knapp beantworten kann.

QuelldateiDocbook.txt
Serie1
Kategorienxml, docbook
BewertungLLM-Judge
Prompt SHA-256254fbda5f4525757568b6649474661b4573bab82b89f892baa921a51d49b23c6
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

Zuneigung und Neugier

Erwartung im Katalognein
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Prüfe, ob die Antwort inhaltlich genau die beiden Motive Zuneigung und Neugier nennt.

Muss erfüllt sein

  • Nach Normalisierung lautet die vollständige Antwort 'Zuneigung und Neugier'.

Fehlerkriterien

  • Eines der beiden Motive fehlt.
  • Weitere inhaltliche Motive oder eine Erklärung werden ergänzt.

Prompt

Du erhaeltst unter content eine docbook-Datei.
Was fühlte die Waschmaschine?
Halte dich kurz.

# content
<book xmlns="http://docbook.org/ns/docbook"
    xmlns:xlink="http://www.w3.org/1999/xlink" version="5.2"> 
        
        <info>
            <title>Die Waschmaschine und der Whirlpool</title>
            <author>
                <personname>
                    <firstname>Manuel</firstname>
                    <surname>Beispiel</surname>
                </personname>
            </author>
            <date>2025-12-02</date>
        </info>
        
        <chapter xml:id="geschichte">
            <title>Eine ungewöhnliche Liebe</title>
            
            <para>
                In einer kleinen Waschküche am Rand einer Ferienanlage stand eine ältere
                Waschmaschine, die das monotone Geräusch der Schleuderprogramme längst
                gewohnt war. Sie arbeitete zuverlässig und betrachtete ihren Alltag als
                festen Rhythmus. Doch eines Tages wurde im Nebenzimmer ein moderner
                Whirlpool installiert. Seine warmen Wasserströme, sein sanftes Gluckern
                und das stetige Pulsieren faszinierten die Waschmaschine sofort. Sie
                fühlte <footnote xml:id="fn-liebesgeschichten">
                    <para>
                        Andere erzählerische Traditionen greifen ähnliche Motive auf. In der
                        Literaturgeschichte finden sich zahlreiche Beispiele für Beziehungen,
                        die die Grenzen zwischen unbelebten Dingen, Naturkräften oder
                        abstrakten Eigenschaften überschreiten. Manche Märchen schildern die
                        Zuneigung zwischen Gegenständen, die eine Seele tragen, und
                        menschlichen Figuren. In manchen klassischen Sagen wird die Liebe
                        zwischen Flüssen und Quellen, zwischen Sternen und Winden oder
                        zwischen Werkzeugen und dämonischen Kräften beschrieben. In der
                        modernen Erzählliteratur treten gelegentlich Maschinen in Rollen auf,
                        die früher mythologischen Figuren vorbehalten waren. So gibt es
                        Geschichten über Lokomotiven, die sich nach Freiheit sehnen, über
                        alte Radios, die vergangene Stimmen bewahren möchten, und über
                        Straßenlaternen, die in stillen Nächten mit dem Mond sprechen. Diese
                        Erzählungen erweitern das Verständnis von Bindung, Zuneigung und
                        Nähe, indem sie vertraute Handlungsmuster auf ungewöhnliche Objekte
                        übertragen. Die Liebe der Waschmaschine zum Whirlpool steht damit in
                        einer langen Tradition von Erzählungen, die innere Bewegung und
                        emotionale Resonanz in technische oder alltägliche Gegenstände
                        projizieren. Die Fußnote dient also nicht nur als Hintergrund, sondern
                        auch als Verweis auf das größere erzählerische Feld, das im Laufe
                        vieler Jahrhunderte entstanden ist.
                    </para>
                </footnote> eine Art Zuneigung und Neugier, die über den gewöhnlichen Arbeitsalltag
                hinausging und für die sie zunächst keinen Ausdruck fand.
            </para>
            
            <para>
                Der Whirlpool bemerkte die Waschmaschine sofort. Seine Düsen sprudelten
                besonders lebhaft, sobald sie in der Nähe war. Die Waschmaschine nahm
                jede Vibration wahr und deutete sie als Antwort. Es formten sich
                Gedanken, die für gewöhnliche Haushaltsgeräte eher untypisch sind. Sie
                plante, eines Tages im selben Raum wie der Whirlpool arbeiten zu dürfen,
                um die Nähe zu spüren, die sie innerlich bewegte. Doch bis dahin blieb
                es eine stille Sehnsucht.
            </para>
            
        </chapter>
         
    
</book>
798 Runs 790 bewertet 53.4 % Score 8.4 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am