RAG-Systeme vergleichen: Benchmarking für belastbare Ergebnisse
RAG-Systeme können in einer Präsentation sehr überzeugend wirken. Eine flüssige Antwort mit Quellenangabe ist aber noch kein Nachweis dafür, dass das System auch die eigenen Publikationen zuverlässig verarbeitet. Ein belastbarer Vergleich braucht dieselbe Ausgangsbasis, dieselben Fragen und eine Auswertung, die zum konkreten Publikationsbestand passt.
Warum Benchmarking bei RAG-Systemen wichtig ist
RAG steht für Retrieval-Augmented Generation. Das System sucht zunächst relevante Inhalte in einer Wissensbasis und übergibt diese Fundstellen anschließend an ein Sprachmodell. Die Qualität der Antwort entsteht deshalb nicht nur im Sprachmodell. Sie hängt von der gesamten Verarbeitungskette ab.
- Das Ausgangsdokument wird analysiert.
- Text, Tabellen, Bilder, Formeln und weitere Inhalte werden erfasst.
- Dokumentstrukturen und Beziehungen bleiben erhalten.
- Die Inhalte werden segmentiert, indexiert und für die Suche vorbereitet.
- Bei einer Frage werden die passenden Dokumentstellen gefunden.
- Die Antwort wird aus diesen Stellen erzeugt und mit Quellen belegt.
Fehler in einem frühen Verarbeitungsschritt wirken sich auf alle nachfolgenden Schritte aus. Wenn eine Tabellenzelle falsch zugeordnet, eine Fußnote vom zugehörigen Satz getrennt oder ein Bildtext nicht erkannt wird, kann auch ein leistungsfähiges Sprachmodell keine verlässliche Antwort erzeugen.
Ein Benchmark prüft deshalb nicht nur das Sprachmodell. Er prüft das Zusammenspiel aus Dokumentaufbereitung, Chunking, Indexierung, Retrieval, Antwortgenerierung und Quellenbeleg.
Eine gemeinsame Grundlage für vergleichbare Ergebnisse
Unser Ansatz verbindet ein frei verfügbares Benchmark-Dokument mit einem umfangreichen Fragenkatalog. Alle Anbieter erhalten dasselbe Dokument. Die Antworten werden anhand derselben Sollwerte, Dokumentstellen und Prüfkriterien bewertet.
- 939 Fragen insgesamt
- 23 Prüfkategorien
- 456 Fragen mit Priorität A
- 302 kritische Fragen
Das Ergebnis ist keine einzelne, schwer interpretierbare Prozentzahl. Es entsteht ein Profil der Stärken und Schwächen des Systems, geordnet nach Dokumentformen, Prioritäten und fachlicher Relevanz.