3 Ablauf der Analyse

Zur Durchführung der Analyse wurde ein 44-seitiges Testdokument im PDF-Format erstellt. Dieses Dokument enthält typische Strukturelemente, die in wissenschaftlichen, technischen, juristischen und verlegerischen Dokumenten häufig vorkommen. Dazu gehören unter anderem Überschriften, Absätze, Fließtext, Tabellen, Listen, Fußnoten, Bilder, Verweise und weitere dokumenttypische Inhaltselemente. Ziel war es, ein kontrolliertes Testszenario zu generieren, das viele heterogene Elemente in einer Datei bündelt.

Anschließend wurde festgelegt, welche Werkzeuge und Konvertierungsstrecken im Rahmen der Studie untersucht werden sollen. Insgesamt wurden sechs Tools ausgewählt: ChatGPT, Gemini, Mistral Document AI, OpenDataLoader, Poppler/Pandoc und unser hauseigener Octopus Service. Die Auswahl umfasst KI-gestützte Werkzeuge, traditionelle Toolchains und OCR-basierte Pipelines. Dadurch konnten unterschiedliche methodische Ansätze miteinander verglichen werden.

Im nächsten Schritt haben alle ausgewählten Tools dasselbe PDF-Testdokument erhalten, um mit identischem Ausgangsmaterial arbeiten zu können. Trotz identischer Eingangsdatei sind die Konvertierungsstrecken nur eingeschränkt miteinander vergleichbar: bei den KI-gestützten Tools ChatGPT und Gemini wurde zusätzlich ein einheitlicher Prompt verwendet, während Mistral die vorgegebene Document-AI-Verarbeitungspipeline nutzte. OpenDataLoader lief im Standardmodus und Octopus operierte in einem eigenen Workflow. Diese Studie untersucht daher bewusst heterogene Konvertierungsstrecken.

Die Ergebnisse wurden vor allem im Markdown-Format ausgegeben, Octopus überträgt die Daten ins XML-basierte Zwischenformat EXHTML. Bei ChatGPT und Gemini wurden zusätzlich XML-Ausgaben erzeugt, um auch strukturiertere Ausgabeformate in die Untersuchung einzubeziehen. Dadurch konnte geprüft werden, wie gut die getesteten Konfigurationen nicht nur sichtbare Inhalte, sondern auch semantische und hierarchische Dokumentstrukturen abbilden.

Im Anschluss wurden die ausgegebenen Datensätze systematisch untersucht. Dabei wurde geprüft, ob die Inhalte vollständig übernommen wurden, ob Strukturelemente korrekt erfasst wurden und ob die ursprüngliche Dokumentlogik erhalten blieb. Die Auswertung erfolgte kapitelweise, damit die einzelnen Inhaltselemente getrennt betrachtet werden konnten. So ließ sich genauer erkennen, bei welchen Strukturen ein Tool zuverlässig arbeitet und bei welchen Elementen Informationsverluste auftreten.

Die Ergebnisse der einzelnen Kapitel wurden in übersichtlichen Auswertungstabellen erfasst. Um die Konvertierungsergebnisse regelbasiert und nachvollziehbar bewerten zu können, wurde ein Punktesystem entwickelt. Jedes Kapitel kann anhand verschiedener Kriterien bewertet werden, abhängig davon, wie vollständig, genau und strukturtreu die jeweiligen Inhalte konvertiert wurden.

Zusätzlich wurde ein dynamisches Gewichtungssystem erstellt. Dieses ermöglicht es, die Bewertung je nach Anwendungsfall anzupassen, da unterschiedliche Publikationen und Workflows verschiedene Anforderungen an eine Konvertierung stellen.

Auf Grundlage der gewichteten Bewertungen wurde abschließend ein Gesamtranking vorgenommen. Dieses Ranking zeigt, welche Konvertierungstools über alle untersuchten Kapitel hinweg die besten Ergebnisse erzielen und welche Werkzeuge eher in bestimmten Teilbereichen des Testszenarios überzeugen. Dadurch kann die Leistungsfähigkeit der getesteten Konverter transparent verglichen und ihre Eignung für unterschiedliche Anwendungsszenarien besser eingeschätzt werden.