9 Dashboard und Ergebnisveröffentlichung

Dieses Kapitel beschreibt das öffentliche LLM Testsuite Dashboard als zentrale Ergebnis-Ebene der data2type LLM Testsuite. Es beschreibt, wie Nutzer Modelle, Testfälle, Kategorien, Laufzeiten und Einzelresultate untersuchen können und wie Dashboard-Stände mit fortlaufenden Fachartikeln verbunden werden.

Aufgabe des öffentlichen Dashboards

Das LLM Testsuite Dashboard ist die explorative Oberfläche der Testsuite. Es verdichtet den aktuellen Datenstand, erlaubt Filter und öffnet Details bis zum einzelnen Run. Es ersetzt weder die Methodik noch eine fokussierte wissenschaftliche Analyse.

Die Hauptansichten umfassen:

• Überblick,
• Modelle,
• Geschwindigkeit,
• Testfälle,
• Kategorien,
• Modell × Testfall,
• LLM-Judge.

Video zum Einstieg in das LLM Testsuite Dashboard

In dem folgenden Video zeigt euch Manuel Montero kurz, wie das LLM Testsuite Dashboard funktioniert und was es beinhaltet. Er erläutert die Idee hinter der LLM Testsuite und erklärt beispielhaft, welche Modelle mit welchen Testcases in welchen Kategorien getestet wurden.

Die Überblicks-Ansicht

Die Überblicksseite im LLM Testsuite Dashboard zeigt zentrale Kennzahlen, technischen Status und häufige Bewertungslabels. Sie dient als Einstieg in den Datenstand.

Abbildung: Die Übersichts-Momentaufnahme des Dashboards zählt Runs, Modelle, bewertete und vollständig korrekte Ergebnisse, effektiven Score und technische Fehler. Außerdem gibt es Übersichts-Diagramme zum technischen Status der Runs, den Top-10-Bewertungslabels, dem Score zur Laufzeit und den Top-Modellen. Werte ändern sich mit jedem Build.

Die KPI-Karten müssen gemeinsam gelesen werden. Eine hohe Zahl an Runs sagt nichts über die fachliche Abdeckung aus. Die Zahl bewerteter Runs zeigt, für wie viele Beobachtungen eine fachliche Regel oder ein Judge-Urteil vorliegt. Technische Fehler und no_rule erklären, warum diese Mengen voneinander abweichen.

Ranglisten als Einstieg, nicht als Endurteil

Das Dashboard kann Top-Modelle nach effektivem Score anzeigen.

Abbildung: Die Rangfolge gehört zu einem konkreten Build und einer konkreten Testabdeckung. Sie darf nicht als zeitlose oder universelle Modellrangliste interpretiert werden.

Für eine belastbare Interpretation sind Modell-Abdeckung, Testkategorien, Bewertungsarten, Anzahl der Runs und Ausführungsweg hinzuzunehmen. Ein Modell kann im Gesamt-Score niedriger liegen und für eine bestimmte Fähigkeit dennoch die bessere Wahl sein.

Modell-Testfall-Matrix

Die Matrix ist besonders wichtig, weil sie nicht nur Modellmittelwerte zeigt. Jede Zeile in der Tabelle steht für eine konkrete Kombination aus Modell und Testfall. Kategorien, Zugangsweg, Bewertungsverfahren, technischer Status, Runs, Timeouts, fehlende Regeln, Score und Laufzeit bleiben sichtbar.

Abbildung: Die Modell-Testfall-Matrix macht heterogene Fähigkeitsprofile sichtbar. Ein Modell kann einzelne Tests vollständig lösen und in anderen Bereichen scheitern. Der Details-Button ganz links führt zu den Einzel-Runs.

Filter

Filter verwandeln das LLM Testsuite Dashboard von einer globalen Übersicht in ein Werkzeug für fähigkeitsspezifische Fragen. In der "Modell × Testfall"-Ansicht können Nutzer Modell, Testfall, Kategorie, Zugangsweg, Bewertungsverfahren und Zeilenzahl kombinieren.

Abbildung: Der Modellfilter ermöglicht die gezielte Betrachtung einer Variante. Dadurch lassen sich alle verfügbaren Testfälle und Bewertungsarten für ein LLM untersuchen.

Der Testfallfilter, der Kategorienfilter, der Zugangswegfilter und der Bewertungsfilter bilden zusammen die zentrale Navigationslogik im LLM Testsuite Dashboard.

CSV-Export

Modell-Testfall-Ansichten können als CSV exportiert werden. Der Export erfüllt mehrere Zwecke:

• unabhängige Nachrechnung,
• Erstellung von Research Notes,
• Archivierung eines Datenstands,
• Analyse in Statistik- und BI-Werkzeugen,
• Vergleich mehrerer Builds,
• Veröffentlichung vollständiger Ergebnisse.

Der maschinenlesbare Export ist die Grundlage für reproduzierbare Analysen.

Verhältnis zu Research Notes

Das LLM Testsuite Dashboard beantwortet vor allem die Frage „Was ist im aktuellen Datenstand sichtbar?“.

Eine Research Note beantwortet „Wie ist ein ausgewählter Effekt methodisch zu untersuchen und zu interpretieren?“

Diese Trennung verhindert, dass explorative Muster vorschnell als wissenschaftliche Schlussfolgerungen dargestellt werden.

Öffentliche Bereitstellung

Das fertig erzeugte Dashboard steht als öffentlicher Bereich der data2type Website unter der URL https://llm-testsuite.data2type.de/ zur Verfügung. Es ist ohne Installation und ohne Zugang zur internen Ausführungsumgebung nutzbar. Besucher können den veröffentlichten Datenstand direkt im Browser untersuchen.

Die öffentliche Bereitstellung verfolgt ein anderes Ziel als die Veröffentlichung von Quellcode. Sie macht Ergebnisse transparent und explorierbar. Die Methodikstudie erläutert zugleich ausführlich, wie diese Ergebnisse erzeugt und bewertet werden.

Nicht bereitgestellt werden lediglich die konkrete Implementierung, interne Skripte, Zugangsdaten und betriebliche Konfigurationen. Über die Dashboard-Website können keine neuen Modellläufe gestartet, internen Regeln verändert oder Provider-Zugänge genutzt werden.

Was Nutzer im Dashboard selbst untersuchen können

Ein öffentlicher Dashboard-Nutzer soll eigene Fragestellungen aus der Ergebnismenge bilden können. Beispiele sind:

• Welche Modelle wurden für einen bestimmten Testfall bewertet?
• Welche Modelle zeigen in der Kategorie jats oder semantics hohe Stabilität?
• Wie unterscheiden sich lokale und externe Ausführungswege bei der Laufzeit?
• Bei welchen Modell-Testfall-Kombinationen treten Timeouts auf?
• Welche Antworten wurden deterministisch und welche durch einen LLM-Judge bewertet?
• Wie viele Runs liegen einer Quote zugrunde?

Diese Selbstbedienung ist wichtig, weil verschiedene Nutzer unterschiedliche Anforderungen besitzen. Das LLM Testsuite Dashboard soll nicht nur fertige Aussagen präsentieren, sondern nachvollziehbare Exploration ermöglichen.

Was erklärt wird und was intern bleibt

Der öffentliche Dashboard-Stand ist ein geprüftes Ergebnis-Artefakt. Die Methodikstudie beschreibt die Test-Orchestrierung, die Behandlung lokaler und externer Modelle, den Umgang mit Wiederholungen und Timeouts, die Normalisierung der Laufdaten, die Bewertungsstufen, die Aggregation und den Freigabeprozess. Damit wird das Vorgehen fachlich und technisch nachvollziehbar gemacht.

Intern bleiben die konkrete Software-Implementierung, Quellcode, Skripte, Befehle, Zugangsdaten, Caches mit internen Metadaten, Provider-Konfigurationen und Infrastrukturdetails. Auch nicht freigegebene Testfälle oder Antworten können aus rechtlichen, sicherheitsbezogenen oder qualitativen Gründen intern bleiben.

Die öffentliche Dokumentation erklärt somit den Prozess, ohne die interne Betriebsumgebung als Softwarepaket oder öffentlichen Dienst bereitzustellen.

Versionierte Dashboard-Stände

Damit Artikel und externe Analysen dauerhaft nachvollziehbar bleiben, wird jeder veröffentlichte Dashboard-Stand eine eindeutige Kennung besitzen. Sinnvoll sind Build-Datum, Methodenfassung, Testkatalogversion und Datenmanifest.

Bei einem Update wird der aktuelle Dashboard-Stand an derselben Einstiegsadresse angeboten. Für zitierte Research Notes werden zusätzlich archivierte oder zumindest dokumentierte Stände verfügbar sein. So lässt sich später prüfen, welche Daten einer Aussage zugrunde lagen.

Verbindung zum Artikelbereich

Der eigene Artikelbereich auf der data2type Website nutzt das LLM Testsuite Dashboard als Datenbasis. Ein Artikel kann auf eine gefilterte Ansicht, einen Testfall oder eine Modellgruppe verweisen. Der Leser kann die im Text beschriebene Beobachtung anschließend selbst im Dashboard nachvollziehen.

Umgekehrt kann das Dashboard bei erklärungsbedürftigen Befunden auf passende Research Notes verweisen. Dadurch entsteht eine Verbindung zwischen Datenexploration und redaktioneller Einordnung.

Veröffentlichung zukünftiger Ergebnisse

Neue Testfälle und Modellläufe werden nach technischer und fachlicher Prüfung in zukünftige Dashboard-Builds aufgenommen. Die öffentliche Oberfläche bleibt damit ein lebendes Ergebnisangebot. Sie zeigt nicht nur den Stand zum Zeitpunkt dieser Studie, sondern kann die Entwicklung der LLM Testsuite über längere Zeit begleiten.

Jede Erweiterung wird im Änderungsprotokoll sichtbar machen, welche Modelle, Testfälle, Regeln oder Kategorien neu hinzugekommen sind. So können Nutzer Veränderungen einordnen, statt nur einen veränderten Gesamt-Score zu sehen.

Nutzung durch Dritte

Das öffentliche Dashboard kann von Unternehmen, Forschung, Bildung, Bibliotheken, Verlagen und technischen Communities als Orientierung genutzt werden. Es ersetzt keine eigene Projektabnahme, senkt aber die Einstiegshürde für eine fundierte Vorauswahl.

Bei externer Weiterverwendung sollten Datenstand, Filter und Methodenfassung genannt werden. Screenshots ohne Build-Angabe können schnell veralten und sollten nicht als dauerhafte Rangliste verbreitet werden.