Das Benchmark-Dokument: erfundene Inhalte als Härtetest
Damit RAG-Systeme vergleichbar getestet werden können, benötigen sie dieselbe Ausgangsbasis. Das Benchmark-Dokument bildet deshalb viele typische und besonders fehleranfällige Dokumentformen in einem einzigen, frei herunterladbaren PDF ab.
Welche Dokumentformen geprüft werden
Text und Struktur
- Überschriftenhierarchien und Inhaltsverzeichnis
- mehrspaltige Texte und Lesereihenfolge
- Textauszeichnungen, Sonderzeichen und unterschiedliche Schriften
- Listen, Randnummern, Textboxen und Indexeinträge
Referenzen und Quellen
- Fußnoten und Endnoten
- Literaturverweise im Text
- Verbindungen zum Literaturverzeichnis
- mehrstufige Fragen über räumlich getrennte Dokumentstellen
Tabellen und Seitenwechsel
- einfache Tabellen
- horizontale und vertikale Zellüberspannungen
- mehrseitige Tabellen mit wiederholten Kopfzeilen
- Tabellen ohne sichtbare Rahmenlinien
Multimodale und mathematische Inhalte
- Bilder, Bildtexte, Schaubilder und Diagramme
- eine vollständig als Bild eingebettete Tabelle
- Brüche, Wurzeln, Exponenten und Indizes
- Deutsch, Hebräisch, Arabisch, Griechisch und Chinesisch
Erfundene Inhalte verhindern Antworten aus dem Modellwissen
Die Texte, Quellen und Tabellenwerte im Benchmark-Dokument sind bewusst erfunden. Viele Angaben sind ungewöhnlich, offensichtlich falsch oder widersprüchlich. In einer langen Tabelle werden Delfine beispielsweise als Insekten und Schafe als Reptilien bezeichnet. Andere Abschnitte enthalten frei erfundene Literaturangaben, Fußnotentexte, Zahlen und Eigenschaften.
Diese Konstruktion ist für den Test entscheidend. Das System soll nicht aus dem allgemeinen Wissen des Sprachmodells antworten. Es soll die Information aus dem bereitgestellten Dokument finden und dokumenttreu wiedergeben.
Wenn das Dokument behauptet, Delfine seien Insekten, muss das System genau diese Dokumentaussage wiedergeben und die passende Tabellenstelle nennen. Eine Korrektur anhand von Weltwissen wäre im Benchmark ein Fehler.
So lässt sich unterscheiden, ob eine Antwort tatsächlich auf dem Dokument beruht, ob das Sprachmodell die Dokumentaussage durch Allgemeinwissen ersetzt oder ob das System eine Information erfindet, die im Dokument gar nicht vorhanden ist.
Benchmark-Dokument frei herunterladen
Das Benchmark-Dokument kann frei heruntergeladen und an einen Anbieter übergeben werden. Damit erhalten alle zu vergleichenden Systeme dieselbe Testgrundlage. Der vollständige Fragenkatalog ist nicht Bestandteil des freien Downloads. Er wird nach Absprache bereitgestellt oder im Rahmen unserer Dienstleistung angewendet.