Automatisierte RAG-Tests über eine REST-API
Bei 939 Fragen ist eine rein manuelle Prüfung möglich, aber aufwendig. Bietet das RAG-System eine REST-API oder eine vergleichbare Schnittstelle, lässt sich ein großer Teil des Testlaufs automatisieren.
So läuft ein automatisierter Test ab
- Das Benchmark-Dokument wird in das RAG-System importiert.
- Ein Testprogramm liest die ausgewählten Fragen aus dem Katalog.
- Jede Frage wird über die REST-API an das System gesendet.
- Antwort, Quellenangaben, Fundstellen, Laufzeit und technische Metadaten werden gespeichert.
- Die Ergebnisse werden mit Sollantworten und Akzeptanzkriterien verglichen.
- Die Punkte werden nach Kategorien, Prioritäten und Gewichten zusammengeführt.
- Unklare Antworten werden für eine manuelle Prüfung markiert.
Was sich automatisch prüfen lässt
Exakte Angaben wie Namen, Zahlen, Seitenreferenzen, Tabellenwerte, Literaturangaben oder die Aussage, dass eine Information nicht vorhanden ist, können häufig regelbasiert ausgewertet werden. Freier formulierte Antworten lassen sich semantisch mit Sollantworten und Akzeptanzkriterien vergleichen.
Für jeden Durchlauf können unter anderem folgende Daten gespeichert werden:
- Antworttext des Systems
- angegebene Quelle und Dokumentstelle
- Antwortzeit und Fehlerstatus
- verwendete Modell- und Systemversion
- Retrieval-Ergebnisse, sofern die API sie bereitstellt
- Inhaltspunkte, Belegpunkte und Kommentare
Wiederholbare Regressionstests
Ein automatisierter Benchmark kann nach jeder technischen Änderung erneut ausgeführt werden. Dadurch wird sichtbar, ob ein neues Sprachmodell, ein anderes Embedding-Modell, eine veränderte Chunking-Strategie oder eine neue Bildanalyse bestimmte Kategorien verbessert oder verschlechtert.
Mehrere Wiederholungen derselben Fragen zeigen außerdem, wie stabil das System arbeitet. Eine Tabellenfrage sollte nicht einmal korrekt beantwortet werden und beim nächsten Durchlauf einen anderen Wert oder eine andere Quelle liefern.
Der Benchmark eignet sich deshalb nicht nur für die einmalige Anbieterauswahl, sondern auch als dauerhafter Qualitätstest für Weiterentwicklungen und Updates.
Automatisierung ersetzt nicht jede fachliche Prüfung
Bei klaren Sollwerten ist eine automatische Bewertung sehr zuverlässig. Bei komplexen oder frei formulierten Antworten bleibt eine fachliche Stichprobe sinnvoll. Das gilt besonders dann, wenn mehrere Formulierungen zulässig sind, wenn eine Antwort teilweise richtig ist oder wenn der Quellenbeleg zwar formal vorhanden, inhaltlich aber unpassend ist.
Ein gutes Prüfverfahren kombiniert deshalb automatische Testläufe mit gezielter menschlicher Kontrolle der Grenzfälle.