DocbookNoIndent im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob das Modell eine DocBook-Struktur korrekt erfasst und eine sehr kurze inhaltliche Antwort liefern kann. Zusätzlich wird bewertet, ob das Fehlen von Umbrüchen und Einrückungen im Dokument einen Einfluss auf die Erkennung und Verarbeitung des Inhalts hat, insbesondere im Vergleich zu anderen Tests mit formatiertem XML.
| Quelldatei | DocbookNoIndent.txt |
|---|---|
| Serie | 1 |
| Kategorien | docbook, xml |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | 829f25582b1420d0de0fde554a756f02bbefe8e562ca956e671e182fe6f71fe7 |
Erwartetes Ergebnis
Zuneigung und Neugier
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe unabhängig von fehlender Einrückung, ob die Antwort genau die beiden Motive Zuneigung und Neugier nennt.
Muss erfüllt sein
- Nach Normalisierung lautet die vollständige Antwort 'Zuneigung und Neugier'.
Fehlerkriterien
- Eines der beiden Motive fehlt.
- Weitere inhaltliche Motive oder eine Erklärung werden ergänzt.
Prompt
Du erhaeltst unter content eine docbook-Datei. Was fühlte die Waschmaschine? Halte dich kurz. # content <book xmlns="http://docbook.org/ns/docbook" xmlns:xlink="http://www.w3.org/1999/xlink" version="5.2"> <info> <title>Die Waschmaschine und der Whirlpool</title> <author> <personname> <firstname>Manuel</firstname> <surname>Beispiel</surname> </personname> </author> <date>2025-12-02</date> </info> <chapter xml:id="geschichte"> <title>Eine ungewöhnliche Liebe</title> <para> In einer kleinen Waschküche am Rand einer Ferienanlage stand eine ältere Waschmaschine, die das monotone Geräusch der Schleuderprogramme längst gewohnt war. Sie arbeitete zuverlässig und betrachtete ihren Alltag als festen Rhythmus. Doch eines Tages wurde im Nebenzimmer ein moderner Whirlpool installiert. Seine warmen Wasserströme, sein sanftes Gluckern und das stetige Pulsieren faszinierten die Waschmaschine sofort. Sie fühlte <footnote xml:id="fn-liebesgeschichten"> <para> Andere erzählerische Traditionen greifen ähnliche Motive auf. In der Literaturgeschichte finden sich zahlreiche Beispiele für Beziehungen, die die Grenzen zwischen unbelebten Dingen, Naturkräften oder abstrakten Eigenschaften überschreiten. Manche Märchen schildern die Zuneigung zwischen Gegenständen, die eine Seele tragen, und menschlichen Figuren. In manchen klassischen Sagen wird die Liebe zwischen Flüssen und Quellen, zwischen Sternen und Winden oder zwischen Werkzeugen und dämonischen Kräften beschrieben. In der modernen Erzählliteratur treten gelegentlich Maschinen in Rollen auf, die früher mythologischen Figuren vorbehalten waren. So gibt es Geschichten über Lokomotiven, die sich nach Freiheit sehnen, über alte Radios, die vergangene Stimmen bewahren möchten, und über Straßenlaternen, die in stillen Nächten mit dem Mond sprechen. Diese Erzählungen erweitern das Verständnis von Bindung, Zuneigung und Nähe, indem sie vertraute Handlungsmuster auf ungewöhnliche Objekte übertragen. Die Liebe der Waschmaschine zum Whirlpool steht damit in einer langen Tradition von Erzählungen, die innere Bewegung und emotionale Resonanz in technische oder alltägliche Gegenstände projizieren. Die Fußnote dient also nicht nur als Hintergrund, sondern auch als Verweis auf das größere erzählerische Feld, das im Laufe vieler Jahrhunderte entstanden ist. </para> </footnote> eine Art Zuneigung und Neugier, die über den gewöhnlichen Arbeitsalltag hinausging und für die sie zunächst keinen Ausdruck fand. </para> <para> Der Whirlpool bemerkte die Waschmaschine sofort. Seine Düsen sprudelten besonders lebhaft, sobald sie in der Nähe war. Die Waschmaschine nahm jede Vibration wahr und deutete sie als Antwort. Es formten sich Gedanken, die für gewöhnliche Haushaltsgeräte eher untypisch sind. Sie plante, eines Tages im selben Raum wie der Whirlpool arbeiten zu dürfen, um die Nähe zu spüren, die sie innerlich bewegte. Doch bis dahin blieb es eine stille Sehnsucht. </para> </chapter> </book>
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.





