4 Die Datenbasis

Die Qualität und Aussagekraft einer Vergleichsstudie hängt maßgeblich von der zugrunde liegenden Datenbasis ab. Um die Leistungsfähigkeit der verschiedenen Konvertierungswerkzeuge möglichst realitätsnah bewerten zu können, wurde zunächst ein speziell konzipiertes PDF-Testdokument erstellt. Ziel war es, typische Herausforderungen der Dokumentenkonvertierung abzubilden und die Werkzeuge mit einer Vielzahl unterschiedlicher Strukturelemente und Inhaltsarten zu konfrontieren.

Als inhaltliche Grundlage wurde bewusst ein fiktiver Text über die Freundschaft zwischen einem Schaf und einem Delfin erstellt. Die Verwendung eines künstlich erzeugten Inhalts sollte das Risiko reduzieren, dass KI-basierte Systeme auf bereits bekannte Texte aus ihren Trainingsdaten zurückgreifen oder Inhalte wiedererkennen.

Auf Basis dieses Textes wurden anschließend unterschiedliche Dokumentstrukturen und Inhaltselemente aufgebaut. Dabei wurde darauf geachtet, möglichst viele Merkmale abzudecken, die in realen Dokumenten regelmäßig vorkommen. Dazu zählen unterschiedliche Dokumentstrukturen, Formatierungen, Tabellen, Listen, Verzeichnisse, Metadaten, Bilder, mehrsprachige Inhalte sowie mathematische Formeln. Gleichzeitig wurden bewusst Elemente integriert, die bei der automatischen Konvertierung häufig Probleme verursachen und daher besonders gut geeignet sind, die Stärken und Schwächen verschiedener Werkzeuge sichtbar zu machen.

Das Testdokument vereint damit typische Eigenschaften wissenschaftlicher, technischer, juristischer und geschäftlicher Dokumente in einer einzigen Datenbasis und ermöglicht die gemeinsame Prüfung vieler Elemente in einem kontrollierten Testfall.

Das aus Word erzeugte, 44-seitige PDF-Testdokument ist nur partiell getaggt: beim Export wurde die Option „Dokumentstrukturtags für Barrierefreiheit“ ausgewählt, während die Option „PDF/A-kompatibel“ nicht aktiviert wurde. Auf eine manuelle Nachbearbeitung der Tags wurde bewusst verzichtet, um ein realistischeres Szenario abzubilden. Octopus, Poppler/Pandoc und Mistral nutzen diese Tags bei der Dokumentenverarbeitung nicht, für die anderen untersuchten Werkzeuge liegen keine gesicherten Erkenntnisse vor.

Die Testläufe wurden im Zeitraum vom 26. März bis 9. April 2026 durchgeführt.