Das data2type LLM Testsuite Dashboard mit Methodikstudie

Wie gut sind aktuelle Large Language Models wirklich, wenn sie mit XML, strukturierten Daten und komplexeren fachlichen Aufgaben arbeiten müssen?

Genau das wollten wir bei data2type genauer wissen! Deshalb haben wir in den vergangenen Monaten eine umfangreiche LLM Testsuite aufgebaut und eine große Zahl aktueller Sprachmodelle systematisch getestet.

Die Ergebnisse stellen wir jetzt öffentlich in unserem neuen LLM Testsuite Dashboard zur Verfügung: Zum data2type LLM Testsuite Dashboard

Das Dashboard enthält aktuell:

95.495 Testläufe
mit 130 Sprachmodellen und
127 unterschiedlichen Testfällen.

Mit diesem Bestand lässt sich sehr detailliert untersuchen, wie sich verschiedene Modelle bei identischen Aufgaben verhalten.

ACHTUNG: Wichtig beim ersten Aufruf: Die Datenbasis ist groß. Das Laden des Dashboards kann deshalb etwas dauern! Ein wenig Geduld lohnt sich.

Video zum Einstieg in das LLM Testsuite Dashboard

In dem folgenden Video zeigt euch Manuel Montero kurz, wie das LLM Testsuite Dashboard funktioniert und was es beinhaltet. Er erläutert die Idee hinter der LLM Testsuite und erklärt beispielhaft, welche Modelle mit welchen Testcases in welchen Kategorien getestet wurden.

Was haben wir getestet?

Uns ging es nicht darum, den nächsten allgemeinen KI-Benchmark zu bauen. Viele existierende Benchmarks testen Mathematik, Programmierung, Allgemeinwissen oder logisches Denken.

Wir wollten uns stattdessen Aufgaben ansehen, die näher an unserem eigenen Arbeitsgebiet liegen:

XML,
strukturierte Daten und
die Verarbeitung komplexer Dokumentstrukturen.

Dabei interessiert uns nicht nur, ob eine Antwort auf den ersten Blick plausibel aussieht. Entscheidend ist, ob ein Modell geforderte Strukturen tatsächlich erzeugt, erwartete Inhalte liefert und bekannte Fehler vermeidet.

Genau deshalb besteht die data2type LLM Testsuite aus vielen einzelnen, reproduzierbaren Testfällen.

Mehr als richtig oder falsch

Eine Besonderheit der Auswertung ist, dass wir die Ergebnisse nicht ausschließlich in „richtig“ und „falsch“ einteilen.

Im LLM Testsuite Dashboard finden sich beispielsweise Bewertungen dafür, ob eine erwartete Lösung fehlt, erwartete Inhalte vorhanden sind, bestimmte Fehlermuster auftreten oder notwendige Strukturen korrekt erzeugt wurden.

Daneben erfassen wir technische Probleme wie Timeouts, API-Fehler, leere Antworten oder fehlerhafte Rückgabewerte.

Dadurch lässt sich wesentlich genauer nachvollziehen, warum ein Modell bei einer bestimmten Aufgabe gut oder schlecht abschneidet.

Modelle direkt miteinander vergleichen

Besonders interessant wird die LLM Testsuite beim direkten Vergleich!

Über das LLM Testsuite Dashboard können die Ergebnisse nach Modellen, Testfällen und Kategorien betrachtet werden. Zusätzlich gibt es Auswertungen zur Geschwindigkeit sowie eine eigene Ansicht für die Bewertung durch einen LLM Judge.

So kann man beispielsweise untersuchen, ob ein Modell bei bestimmten Arten strukturierter Aufgaben besonders zuverlässig arbeitet oder ob ein anderes Modell zwar gute Ergebnisse liefert, dafür aber deutlich langsamer ist.

Auch Unterschiede zwischen Modellgenerationen und Modellfamilien werden dadurch sichtbar.

Die Daten stehen im Mittelpunkt

Uns war wichtig, die Ergebnisse nicht nur in einem zusammenfassenden Artikel zu veröffentlichen. Jeder soll selbst in die Daten schauen können.

Deshalb ist das LLM Testsuite Dashboard interaktiv aufgebaut. Statt nur unsere Interpretation der Ergebnisse zu lesen, kann man Modelle, Testfälle und Kategorien selbst untersuchen und miteinander vergleichen.

Und es gibt einiges zu entdecken: Hinter den derzeit 95.495 Testläufen steckt eine entsprechend große Menge an Ergebnissen.

Wer das Dashboard zum ersten Mal öffnet, sollte deshalb ein wenig Ladezeit einplanen.

LLM Testsuite Dashboard von data2type ausprobieren

Wir werden in weiteren Artikeln einzelne Ergebnisse der Studie genauer unter die Lupe nehmen und zeigen, was wir aus den Tests für den praktischen Einsatz von LLMs mit XML und strukturierten Daten gelernt haben.

Methodikstudie zur data2type LLM Testsuite

Die Methodikstudie auf den folgenden Seiten beschreibt detailliert Aufbau, Technik und Methodik hinter der LLM Testsuite. Sie ist bewusst von den laufend aktualisierten Messergebnissen und von thematischen Einzelanalysen getrennt. Die Ergebnisdaten werden im LLM Testsuite Dashboard publiziert. Ausgewählte Fragestellungen werden zusätzlich als Research Notes ausgewertet und in fortlaufenden Ergebnisartikeln veröffentlicht.

Die Studie legt offen, wie die LLM Testsuite methodisch und technisch arbeitet. Sie erklärt den Weg von der Testdefinition über wiederholte Modellläufe, technische Klassifikation, deterministische Regeln und LLM-Judge bis zur statistischen Aggregation und zum Dashboard. Auch die Kriterien für Versionierung, Qualitätssicherung und Ergebnisfreigabe werden beschrieben.

Die Methodikstudie zur data2type LLM Testsuite besteht aus den folgenden Kapiteln

Weitere Inhalte der LLM Testsuite

Zusätzlich zur ausführlichen Methodikstudie sind hier auch die Resultate der LLM Testsuite zu finden, untergliedert in die Bereiche: