2 Publikationsmodell und Geltungsbereich
Dieses Kapitel beschreibt, wie die Ergebnisse und die Methodik der data2type LLM Testsuite veröffentlicht werden. Im Mittelpunkt steht die Trennung zwischen der stabilen Methodenbeschreibung, dem öffentlich nutzbaren LLM Testsuite Dashboard und fortlaufenden Research Notes beziehungsweise Ergebnisartikeln.
Warum Methodik und Ergebnisse getrennt werden
Die LLM Testsuite wächst kontinuierlich. Neue Modelle werden aufgenommen, bestehende Modelle erhalten neue Versionen, zusätzliche Testfälle werden ergänzt und Bewertungsregeln werden präzisiert. Eine einzige statische Veröffentlichung würde deshalb entweder schnell veralten oder bei jeder Aktualisierung ihre methodische Beschreibung wiederholen.
Das Projekt trennt daher stabile und dynamische Inhalte.
Abbildung: Die Methodikstudie bildet die stabile Referenz. Neue Testfälle und Bewertungsregeln erweitern die im LLM Testsuite Dashboard veröffentlichte Datenbasis. Research Notes vertiefen ausgewählte Befunde.
Die Methodik erklärt, wie getestet und bewertet wird. Das LLM Testsuite Dashboard zeigt den aktuellen Datenstand. Research Notes greifen einzelne Beobachtungen auf und analysieren sie mit einer engeren Fragestellung.
Ebene 1: Methodikstudie
Die vorliegende Studie bildet die methodische Referenz und beschreibt:
- Ziele und Untersuchungsdimensionen,
- Struktur und Versionierung der Testfälle,
- Auswahl und Kennzeichnung der Modelle,
- Durchführung wiederholter Läufe,
- technische und fachliche Bewertungsverfahren,
- statistische Kennzahlen,
- technische Architektur,
- Grenzen und Regeln für die Interpretation.
Die Methodik soll sich nur ändern, wenn sich das Verfahren selbst ändert. Neue Ergebniswerte allein führen nicht zu einer neuen Methodenfassung.
Die Beschreibung umfasst auch den technischen Verfahrensablauf. Dazu gehören die Stufen der Testdefinition, Ausführung, Normalisierung, Bewertung, Aggregation und Veröffentlichung. Nicht Gegenstand der öffentlichen Studie ist die vollständige Implementierung dieser Stufen in Form von Quellcode.
Ebene 2: Öffentliches Dashboard und freigegebene Ergebnisdaten
Das LLM Testsuite Dashboard ist die dynamische und öffentlich nutzbare Ergebnis-Ebene. Es ermöglicht Ansichten nach Modell, Testfall, Kategorie, Ausführungsweg, Bewertungsverfahren und Modell-Testfall-Kombination. Einzelne Läufe können abhängig vom Freigabestatus bis zu Status, Label, Score, Dauer und Antwortvorschau nachvollzogen werden.
Das fertige Dashboard wird so veröffentlicht, dass jede interessierte Person den aktuellen freigegebenen Stand im Browser untersuchen kann. Dafür ist weder eine Installation der internen Testsuite noch ein eigener Modellzugang erforderlich.
Zusätzlich sind Exporte wichtig. Eine visuelle Oberfläche unterstützt Exploration, ersetzt aber keine maschinenlesbaren Daten. Freigegebene CSV-, JSONL- oder weitere Exportformate können unabhängige Analysen, Nachrechnungen und spätere Research Notes unterstützen. Welche Detaildaten veröffentlicht werden, wird pro Build geprüft.
Ebene 3: Research Notes
Die vollständige Ergebnismenge ist zu umfangreich, um alle Fragestellungen in einer einzigen Studie angemessen zu behandeln. Deshalb werden zukünftig einzelne Aspekte als eigenständige Beiträge unter der Seite "Methodikstudie: Schlussfolgerungen" publiziert.
Geeignete Themen sind beispielsweise:
- CSV mit Komma gegenüber CSV mit Semikolon,
- Verständnis komplexer CALS-Tabellen,
- Einfluss fehlender XML-Einrückung,
- direkte Verarbeitung von RTF oder WordML,
- Fähigkeiten zu RSS und Atom,
- XPath 3.0 und XPath 3.1,
- Erzeugung von JATS, DITA, DocBook, BITS oder NISO STS,
- semantische Extraktion in mehrsprachigen Texten,
- Stabilität über wiederholte Läufe,
- Score im Verhältnis zur Laufzeit,
- lokale Modelle im Verhältnis zu Cloud-Modellen.
Eine Research Note verweist auf die Methodik, benennt den verwendeten Datenstand und untersucht eine eingegrenzte Hypothese. Dadurch bleiben Ergebnisse überprüfbar und ältere Beiträge historisch nachvollziehbar.
Versionierung und Datenstände
Jede Methodenfassung erhält eine Versionsnummer. Zusätzlich sollte jede veröffentlichte Ergebnisausleitung mindestens folgende Angaben enthalten:
| Merkmal | Zweck |
|---|---|
| Zeitstempel des Builds | Zuordnung zum veröffentlichten Stand |
| Version der Testdefinitionen | Nachvollziehbarkeit der Aufgaben |
| Prompt-Hash | Erkennen inhaltlicher Prompt-Änderungen |
| Modellname und Variante | Trennung unterschiedlicher Modellstände |
| Bewertungsregel und Version | Nachvollziehbarkeit des Scores |
| Judge-Modell und Rubrikversion | Einordnung semantischer Bewertungen |
| Ausführungsweg | Trennung lokaler und externer Infrastruktur |
Ein Ergebnis ohne diese Angaben ist nur eingeschränkt reproduzierbar.
Gegenstand der Methodikstudie
Diese Studie beschreibt, wie Fähigkeiten beobachtet und verglichen werden. Sie liefert keine Garantie dafür, dass ein Modell in jedem realen Projekt identisch reagiert. Produktionsumgebungen können andere Prompts, längere Dokumente, andere Parameter, zusätzliche Systemanweisungen oder externe Werkzeuge verwenden.
Die LLM Testsuite soll deshalb eine belastbare Entscheidungsgrundlage schaffen, ersetzt aber keinen projektspezifischen Abnahmetest.
Zielgruppen
Diese Publikation richtet sich an unterschiedliche Lesergruppen:
| Zielgruppe | Relevante Fragen |
|---|---|
| Fachanwender | Welche Modelle beherrschen einen Standard oder Aufgabentyp? |
| Entwickler | Wie sind Tests, Läufe und Bewertungsregeln aufgebaut? |
| RAG-Verantwortliche | Welche Repräsentation eignet sich für Chunks und Quellen? |
| XML- und Publishing-Experten | Wie verlässlich werden Vokabulare und Strukturen angewendet? |
| Datenanalysten | Welche Kennzahlen und Exporte stehen zur Verfügung? |
| Entscheider | Welche Risiken, Kosten und Betriebsmodelle sind zu beachten? |
Die folgenden Kapitel beginnen mit der konzeptionellen Methodik und führen anschließend zur technischen Umsetzung.
Das öffentlich nutzbare Dashboard
Das LLM Testsuite Dashboard wird als eigenständiger öffentlicher Ergebnisbereich bereitgestellt. Es ist nicht nur eine Abbildung in dieser Studie, sondern die interaktive Oberfläche, über die interessierte Nutzerinnen und Nutzer den freigegebenen Datenstand selbst untersuchen können. Für die Nutzung ist keine lokale Installation der Testsuite erforderlich.
Im öffentlichen LLM Testsuite Dashboard sind abhängig vom jeweiligen Veröffentlichungsstand unter anderem die folgenden Aktionen möglich:
- Modelle nach Name, Familie oder Ausführungsweg filtern,
- Testfälle und Kategorien auswählen,
- Erfolgsquoten, Scores und technische Statuswerte vergleichen,
- Modell-Testfall-Kombinationen untersuchen,
- Laufzeitkennzahlen und Wiederholungen betrachten,
- zu einzelnen Ergebnissen und Antwortvorschauen navigieren,
- veröffentlichte Datenexporte herunterladen.
Der öffentliche Zugang soll nachvollziehbare Eigenanalysen ermöglichen. Nutzer müssen sich nicht auf eine von data2type vorgegebene Rangliste beschränken, sondern können die für ihren Anwendungsfall relevanten Filter selbst setzen.
Methodische Offenlegung und Schutz des Quellcodes
Das Gesamtprojekt wird als data2type LLM Testsuite bezeichnet. Die öffentliche Methodenstudie beschreibt ausführlich, wie Testfälle definiert, Modelle ausgeführt, Wiederholungen behandelt, Antworten technisch klassifiziert, fachlich bewertet, statistisch zusammengeführt und als LLM Testsuite Dashboard veröffentlicht werden. Der Prozess selbst wird also nicht verborgen.
Davon zu unterscheiden ist die Veröffentlichung der konkreten Implementierung. Nicht öffentlich bereitgestellt werden der Quellcode, interne Skripte und Automatisierungen, konkrete Kommandozeilenaufrufe, Zugangsdaten, Providerkonfigurationen, Arbeitsverzeichnisse, nicht freigegebene Rohdaten, Caches sowie sicherheitsrelevante Infrastrukturangaben. Diese Bestandteile sind für die fachliche Einordnung der Methode nicht erforderlich und bleiben Teil der internen Betriebsumgebung.
Die Trennung erfüllt mehrere Zwecke. Sie schützt Zugangsdaten und Infrastruktur, verhindert eine Verwechslung zwischen einem geprüften Ergebnisstand und einer veränderlichen Entwicklungsumgebung und erlaubt eine redaktionelle Qualitätskontrolle vor jeder Veröffentlichung. Zugleich bleibt die Methodik transparent, weil die Studie die Verarbeitungsschritte, Datenobjekte, Bewertungslogiken, Kennzahlen und Grenzen erklärt.
Das öffentliche LLM Testsuite Dashboard ist kein Fernzugriff auf die Testausführung. Nutzer können die publizierten Ergebnisse untersuchen, aber nicht über die Website neue Modell-Läufe starten, interne Regeln verändern oder Builds auslösen. Sie erhalten jedoch genügend methodische Informationen, um zu verstehen, wie die dargestellten Resultate zustande kommen.
Fortlaufender Artikelbereich
Neben Methodik und LLM Testsuite Dashboard entsteht auf der data2type Website unter "Methodikstudie: Schlussfolgerungen" ein eigener Bereich für neue Artikel zur LLM Testsuite. Dieser Bereich wird fortlaufend um Beiträge ergänzt, sobald der aktuelle Datenstand neue Erkenntnisse erlaubt oder zukünftige Testreihen abgeschlossen sind.
Ein Beitrag kann beispielsweise einen überraschenden Unterschied zwischen zwei CSV-Varianten untersuchen, die XPath-Kompetenz ausgewählter Modelle vergleichen oder die Performance lokaler und externer Ausführungswege analysieren. Andere Beiträge können neue Testgebiete vorstellen, etwa zusätzliche Standards, neue Sprachversionen oder komplexere semantische Aufgaben.
Der Artikelbereich "Schlussfolgerungen" erfüllt damit vier Funktionen:
- Er macht einzelne Befunde in einer verständlichen Form sichtbar.
- Er dokumentiert, auf welchem LLM Testsuite Dashboard-Stand die Analyse beruht.
- Er erlaubt eine fachliche Einordnung, die in einer reinen Ergebnistabelle nicht möglich ist.
- Er schafft eine fortlaufende Chronik der Entwicklung von Modellen und LLM Testsuite.
Aktuelle und zukünftige Datenstände
Ein Artikel bleibt an den Datenstand gebunden, auf dessen Grundlage er erstellt wurde. Spätere LLM Testsuite Dashboard-Versionen können zusätzliche Modelle, neue Wiederholungen oder überarbeitete Regeln enthalten. Deshalb sollte jeder Beitrag mindestens das Veröffentlichungsdatum, die Methodenfassung, den Dashboard-Build und die betrachteten Testfälle nennen.
Zukünftige Ergebnisse werden nicht stillschweigend in ältere Aussagen eingerechnet. Stattdessen können Beiträge aktualisiert, mit einem Nachtrag versehen oder durch eine neue Research Note ergänzt werden. So bleibt sichtbar, ob sich ein Befund bestätigt, abgeschwächt oder umgekehrt hat.
Zusammenspiel der drei Ebenen
Die drei oben genannten Veröffentlichungsebenen bilden einen Kreislauf. Neue Tests und Modellläufe erzeugen einen aktualisierten Dashboard-Stand. Auffällige Muster aus diesem Stand führen zu Research Notes. Die vertiefte Analyse kann wiederum zeigen, dass zusätzliche Kontrolltests oder präzisere Bewertungsregeln notwendig sind. Methodische Änderungen werden anschließend in einer neuen Version dieser Studie dokumentiert.
Damit ist die Veröffentlichung nicht nur eine Ausgabe der LLM Testsuite, sondern Teil ihres Qualitätssicherungsprozesses.