RAG-Benchmarking als Dienstleistung
Wir bieten an, den Fragenkatalog auf konkrete RAG-Systeme anzuwenden und unterschiedliche Lösungen nach einem transparenten, abgestimmten Verfahren vergleichbar zu machen.
Was wir für den Vergleich übernehmen
Analyse
Wir prüfen, welche Dokumentformen im eigenen Bestand vorkommen und welche Fehler besonders kritisch wären.
Auswahl
Wir wählen die passenden Fragen, Prioritäten und Kategorien aus dem Katalog aus.
Gewichtung
Wir stimmen veränderbare Gewichte und Mindestanforderungen auf die Publikationsformen ab.
Testdurchführung
Wir führen den Test manuell, teilautomatisiert oder über eine vorhandene REST-API durch.
Auswertung
Wir bewerten Inhalt, Quellenbeleg, Dokumenttreue, Stabilität und Antwortzeit.
Vergleich
Wir stellen Anbieter, Konfigurationen oder Systemversionen anhand derselben Kriterien gegenüber.
Typischer Ablauf
- Gemeinsame Festlegung des Anwendungsfalls und der zu vergleichenden Systeme.
- Analyse der eigenen Publikationsformen und Definition der Schwerpunkte.
- Auswahl und Gewichtung der relevanten Kategorien.
- Import des Benchmark-Dokuments in die Systeme.
- Durchführung der Fragen, optional über eine REST-API.
- Bewertung von Antworten, Quellen und Fehlermustern.
- Ergebnisbericht und Besprechung der Konsequenzen.
Was Sie als Ergebnis erhalten
- eine Auswertung nach Kategorien, Prioritäten und Gewichten
- eine getrennte Betrachtung von Inhaltsqualität und Quellenbeleg
- eine Übersicht kritischer Fehler und wiederkehrender Fehlermuster
- einen Vergleich der geprüften Systeme oder Konfigurationen
- eine Dokumentation der Testbedingungen und Systemversionen
- Empfehlungen für weiterführende Tests mit eigenen Dokumenten
Das frei verfügbare Benchmark-Dokument schafft die gemeinsame Grundlage. Der vollständige Fragenkatalog wird nach Absprache eingesetzt. Damit bleibt das Verfahren reproduzierbar, ohne den kompletten Prüfkatalog öffentlich bereitzustellen.
RAG-Systeme auf einer gemeinsamen Grundlage vergleichen
Gerne stimmen wir Testumfang, relevante Dokumentformen, Gewichtung und technische Durchführung mit Ihnen ab.