12 Reproduzierbarkeit

Ein weiterer wichtiger Faktor bei der Bewertung von Konvertierungswerkzeugen ist die Reproduzierbarkeit, da bei wiederholter Verarbeitung möglichst identische Ergebnisse entstehen sollten.

Bei LLM-basierten Tools ist die Reproduzierbarkeit grundsätzlich problematisch. Selbst wenn dasselbe Dokument mit demselben Prompt mehrfach verarbeitet wird, können teilweise deutlich unterschiedliche Ergebnisse entstehen. Dies betrifft nicht nur einzelne Formulierungen, sondern auch die gesamte Struktur des erzeugten Dokuments. Der Grund dafür liegt in der Funktionsweise von Large Language Models. Im Gegensatz zu klassischen Konvertierungswerkzeugen arbeiten sie nicht mit festen Regeln zur Dokumentanalyse, sondern erzeugen ihre Ausgabe auf Basis statistischer Wahrscheinlichkeiten.

Hinzu kommt, dass Sprachmodelle Dokumente nicht lediglich extrahieren, sondern auch interpretieren. Diese Interpretation kann jedoch von Durchlauf zu Durchlauf unterschiedlich ausfallen. Besonders bei komplexen Dokumenten mit Tabellen, mehrspaltigen Layouts, Fußnoten, Bildunterschriften oder verschachtelten Überschriften steigt die Wahrscheinlichkeit für abweichende Ergebnisse deutlich an.

Ein weiterer Nachteil besteht darin, dass viele LLM-basierte Systeme kontinuierlich weiterentwickelt werden. Modellversionen werden aktualisiert, Trainingsdaten erweitert und interne Verarbeitungsschritte angepasst. Die Ergebnisse sind somit nicht nur zwischen einzelnen Durchläufen, sondern teilweise auch über längere Zeiträume hinweg nicht vollständig reproduzierbar.

Ein präzise formulierter Prompt kann die Konsistenz der Ergebnisse verbessern, da er dem Modell klare Vorgaben für die Struktur und Ausgabe macht. Die grundsätzlichen Einschränkungen der Reproduzierbarkeit werden dadurch jedoch nicht beseitigt. Der Prompt reduziert die Schwankungen lediglich, kann sie aber nicht verhindern.

Die mangelnde Reproduzierbarkeit zeigte sich auch praktisch während der Tests. Während ChatGPT Markdown bei einem ersten Durchlauf ein Ergebnis erzeugte, wurde die Verarbeitung desselben Dokuments bei einem späteren Versuch ohne Ergebnis abgebrochen. Dies verdeutlicht, dass LLM-basierte Systeme unter Umständen auch ein unterschiedliches Laufzeit- und Stabilitätsverhalten aufweisen können.

Die Ergebnisse klassischer Konvertierungswerkzeuge sind dagegen deutlich besser reproduzierbar. Sie arbeiten auf Basis fester Algorithmen und definierter Verarbeitungsschritte. Wird dasselbe Dokument mit denselben Einstellungen verarbeitet, entsteht in der Regel auch dasselbe Ergebnis. Da keine inhaltliche Interpretation durch ein Sprachmodell erfolgt und die Verarbeitungsschritte klar definiert sind, liefern diese Werkzeuge eine hohe Konsistenz und Nachvollziehbarkeit. Für Anwendungsfälle, in denen identische Ergebnisse über lange Zeiträume hinweg erforderlich sind, stellen klassische Konvertierungsansätze daher die deutlich zuverlässigere Lösung dar.