14 Schlussfolgerungen

Die Vergleichsstudie zeigt deutlich, dass sich die untersuchten Tools und Konvertierungsstrecken nicht nur in ihrer Gesamtleistung, sondern vor allem in ihren jeweiligen Stärken und Schwächen unterscheiden. Während manche Werkzeuge einfache Textinhalte zuverlässig erfassen, treten bei komplexeren Dokumentstrukturen wie Tabellen, Fußnoten, mehrspaltigen Layouts, Bildern und mathematischen Formeln deutliche Unterschiede auf. Damit wird sichtbar, dass eine erfolgreiche PDF-Konvertierung weit mehr umfasst als die reine Text-Extraktion. Entscheidend ist, ob ein Tool Inhalte vollständig übernimmt, ihre semantische Funktion erkennt und die ursprüngliche Dokumentstruktur in ein weiterverarbeitbares Zielformat übertragen kann.

Für RAG-Systeme ist diese Erkenntnis besonders wichtig. Die Qualität eines RAG-Systems beginnt nicht erst beim Sprachmodell, sondern bereits bei der Datenaufbereitung. Wenn die Ausgangsdaten fehlerhaft, unvollständig oder schlecht strukturiert sind, kann auch ein leistungsfähiges Modell keine verlässlichen Antworten erzeugen. Das Retrieval basiert auf den konvertierten und segmentierten Dokumentdaten. Werden diese Daten falsch vorbereitet, werden später auch falsche, unvollständige oder unpassende Textstellen abgerufen. Die Qualität der Antwort hängt deshalb direkt davon ab, ob die Dokumente korrekt konvertiert, sinnvoll gegliedert und semantisch sauber ausgezeichnet wurden.

Besonders relevant ist dabei die Bildung sinnvoller Chunks. Chunks sind die Einheiten, die ein RAG-System durchsucht und dem Sprachmodell als Kontext bereitstellt. Wenn Überschriftenhierarchien falsch erkannt werden, Absätze auseinandergerissen werden, Tabellen ihre Struktur verlieren oder Fußnoten nicht mehr mit ihren Referenzen verbunden sind, entstehen Chunks ohne klaren Zusammenhang. Dadurch kann eine Antwort zwar sprachlich überzeugend wirken, sich aber auf eine unvollständige oder falsch eingeordnete Informationsgrundlage stützen. Eine gute Dokumentkonvertierung ist daher eine zentrale Voraussetzung für zuverlässiges Retrieval, korrekte Quellenbezüge und fachlich belastbare Antworten.

Das beste Gesamtergebnis im Rahmen dieser Testsuite erzielt ChatGPT Markdown in der dokumentierten Konfiguration. Besonders stark ist dieses Verfahren dort, wo Inhalte nicht nur gelesen, sondern strukturell und semantisch rekonstruiert werden müssen. Dazu zählen unter anderem Überschriften, Tabellen, Listen, Textboxen, mathematische Inhalte und Bildbeschreibungen. Octopus erreicht ebenfalls ein starkes Ergebnis und überzeugt vor allem durch eine stabile, nachvollziehbare und regelbasierte Verarbeitung. Besonders bei Tabellen, Bildern und strukturierter Dokumentanalyse zeigt Octopus eine hohe Leistungsfähigkeit. Gemini Markdown und die Mistral Document AI liefern in mehreren Bereichen der Testsuite brauchbare bis sehr gute Ergebnisse, bleiben jedoch insgesamt weniger konstant. Gemini XML zeigt interessante Stärken bei semantischen XML-Strukturen, verliert aber durch fehlende Inhalte an Gesamtqualität. OpenDataLoader im Standardmodus und Poppler/Pandoc zeigen in diesem Testszenario klare Schwächen bei komplexeren Strukturen. ChatGPT XML fällt in der gewählten Konfiguration im Gesamtvergleich deutlich ab, da große Teile des Testdokuments nicht konvertiert wurden.

Die Ergebnisse zeigen außerdem, dass das beste Tool nicht pauschal für jeden Anwendungsfall dasselbe sein muss. Die Anforderungen unterscheiden sich je nach Dokumenttyp, Publikationsform und geplanter Weiterverarbeitung erheblich. Während in bestimmten Fachpublikationen beispielsweise Fußnoten, Literaturverweise und bibliografische Strukturen besonders wichtig sind, können bei anderen Publikationsformen vollständige Tabellenstrukturen, korrekt erfasste Bilder oder mathematische Formeln stärker ins Gewicht fallen. Das entwickelte Gewichtungssystem ermöglicht deshalb eine differenzierte Bewertung, die an konkrete Anforderungen angepasst werden kann.

Neben der Konvertierungsqualität spielen auch Verarbeitungszeit, Reproduzierbarkeit und Datenschutz eine wichtige Rolle bei der Einschätzung der untersuchten Tools. Ein Werkzeug muss nicht nur gute Ergebnisse liefern, sondern diese auch stabil, planbar und unter passenden Rahmenbedingungen erzeugen. Daraus ergibt sich, dass das beste Tool in diesem kontrollierten Testaufbau nicht allein über das Gesamtranking bestimmt werden kann. Für RAG-Systeme sind semantisch starke Verfahren besonders wertvoll, zugleich müssen aber Laufzeit, Reproduzierbarkeit und Datenschutz zum jeweiligen Einsatzszenario passen. Gute KI-Ergebnisse entstehen daher nur dann, wenn die Daten nicht nur vollständig und strukturiert, sondern auch zuverlässig, kontrollierbar und datenschutzkonform aufbereitet werden.

Die Studie macht deutlich, dass moderne KI-gestützte Verfahren bei der semantischen Rekonstruktion komplexer Dokumente bereits sehr leistungsfähig sind. Gleichzeitig zeigen regelbasierte Systeme wie Octopus, dass Transparenz, Nachvollziehbarkeit und kontrollierbare Verarbeitung weiterhin entscheidende Vorteile bieten können.

Insgesamt liefert diese Untersuchung eine detaillierte, nachvollziehbare Auswertung eines kontrollierten Testaufbaus und stellt Stärken, Schwächen und typische Fehlerbilder der untersuchten Werkzeuge und Konvertierungsstrecken systematisch dar. Zugleich macht sie sichtbar, an welchen Stellen heutige Konvertierungssysteme noch an Grenzen stoßen. Vor allem bei komplexen Tabellen, Verweissystemen, visuellen Inhalten, Indexstrukturen und vollständiger semantischer Auszeichnung besteht weiterhin Entwicklungsbedarf.