1 Kurzbeschreibung dieser Studie

Diese Vergleichsstudie untersucht, wie gut verschiedene Werkzeuge PDF-Dokumente in strukturierte Zielformate wie Markdown, XML oder EXHTML überführen können. Im Mittelpunkt steht nicht nur die Frage, ob der sichtbare Text aus einem PDF extrahiert wird. Entscheidend ist, ob die ursprüngliche Dokumentstruktur erhalten bleibt. Dazu gehören Überschriften, Absätze, Tabellen, Listen, Fußnoten, Literaturverweise, Bilder, mehrsprachige Inhalte, mathematische Formeln, Textboxen und Index-Einträge.

Gerade für RAG-Systeme ist diese Frage besonders wichtig. Ein RAG-System kann nur dann gute und belastbare Antworten liefern, wenn die zugrunde liegenden Dokumentdaten vollständig, korrekt und sinnvoll strukturiert sind. Fehler in der Konvertierung werden später direkt in die Wissensbasis übernommen. Werden Tabellen aufgelöst, Fußnoten falsch zugeordnet oder Überschriftenhierarchien verschoben, können die Antwortqualität und Nachvollziehbarkeit erheblich beeinträchtigt sein.

1.1 Die Ergebnisse im Überblick

Tab. 1.1 Gesamtranking der untersuchten Tools mit den über alle Kapitel hinweg erreichten Punktzahlen nach der Gewichtung
Kapitel	Oct	Mi	GeM	Pop	ChM	Op	GeX	ChX
Überschriften, Dokumentstruktur und Seitenlayout	123	69	100	43	131	59	133	25
Textauszeichnungen und Inline-Formatierung	35	23	20,05	24,2	37,55	18,6	23	1,15
Sonderzeichen, Zahlen und Schriftarten	14,58	15,6	11,8	14,1	15,8	14	6,8	0,5
Mehrspaltigkeit	31,8	32,8	32,9	31	32,9	32,6	31	0
Fußnoten, Endnoten und Literaturverweise	70	17	28	20	80	20	29	0
Mehrsprachigkeit	10	10	10	6,8	10	6,8	2,5	1
Bilder, Schaubilder und Diagramme	70	37,5	4,5	1,5	100	8,75	10	2,25
Tabellen	119	91,5	93	6	120	86	41,5	20
Listen und Aufzählungen	35,9	37,5	43	36,5	43	33,4	11,5	4
Mathematische Inhalte und Formeln	6,25	19,5	19	6	19,75	6	5	0,25
Textboxen	5	5	5	5	10	5	0	0
Literaturverzeichnis	30	30	30	30	30	10	32	6,5
Index	7	7	7	7	7	5	5,5	0
Über alle Kapitel hinweg zu erreichende Punkte	712	712	712	712	712	712	712	712
Über alle Kapitel hinweg erreichte Punkte	557,53	395,4	404,25	231,1	637	305,15	330,8	60,65
Erreichte Prozent	78%	56%	57%	32%	89%	43%	46%	9%

Legende Tool-Abkürzungen:

Oct = Octopus
Mi = Mistral
GeM = Gemini Markdown
Pop = Poppler/Pandoc
ChM = ChatGPT Markdown
Op = OpenDataLoader
GeX = Gemini XML
ChX = ChatGPT XML

1.2 Was für die Tool-Auswahl außerdem entscheidend ist

Das Gesamtranking auf der Grundlage der für dieses Testszenario gewählten Kriteriengewichtung reicht allein nicht für eine differenzierte Bewertung der untersuchten Tool-Konfigurationen aus.

Entscheidend ist der konkrete Anwendungsfall. Denn je nach Publikationstyp und späterem Workflow können unterschiedliche Anforderungen im Vordergrund stehen. Während in bestimmten wissenschaftlichen Fachpublikationen beispielsweise mathematische Formeln, Tabellen, Literaturverweise und Fußnoten besonders wichtig sind, können bei anderen Publikationsformen eher Fließtext, Kapitelstruktur und typografische Auszeichnungen entscheidend sein.

Ein Tool kann also im dokumentierten Gesamtranking gut abschneiden, aber für einen bestimmten Verlag oder Publikationstyp trotzdem weniger geeignet sein, wenn genau die dort wichtigen Strukturen nicht zuverlässig verarbeitet werden.

Deshalb wurde für die Studie ein dynamisches Gewichtungssystem entwickelt, mit dem die Bewertung an unterschiedliche Anforderungen angepasst werden kann. Damit ermöglicht das Bewertungs- und Gewichtungssystem eine differenzierte Einschätzung der Tools statt einer starren Rangfolge.

1.3 Qualität ist nicht der einzige Faktor

Tab. 1.2 Einordnung der untersuchten Tools im Hinblick auf Kriterien wie Verarbeitungszeit, Reproduzierbarkeit und Datenschutz
Tools	Reproduzierbarkeit	Verarbeitungszeit	Datenschutz
Octopus	ja	schnell	ja (lokale Ausführung)
ChatGPT	nein	sehr langsam**	nein (Cloud)
Mistral	nein	schnell	nein (Cloud)***
Gemini	nein	schnell	nein (Cloud)
OpenDataLoader	ja*	schnell	ja (lokale Ausführung)
Poppler/Pandoc	ja	schnell	ja (lokale Ausführung)

* im Standardmodus
** im Reasoning-Modus
*** Für die Mistral Document AI / Mistral OCR 3 sind auch Self-Hosting-Optionen verfügbar

Neben der Konvertierungsqualität spielen auch Laufzeit, Reproduzierbarkeit und Datenschutz eine wichtige Rolle. Die meisten untersuchten Tools verarbeiteten das Testdokument ungefähr innerhalb einer Minute. Die Konvertierungsstrecke ChatGPT Markdown bildete hier eine deutliche Ausnahme: Die Verarbeitung dauerte 81 Minuten und 32 Sekunden. In einem weiteren Versuch wurde die Verarbeitung nach längerer Laufzeit ohne Ergebnis abgebrochen.

Auch die Reproduzierbarkeit ist bei LLM-basierten Tools eingeschränkt. Selbst bei gleichem Dokument und gleichem Prompt können unterschiedliche Ergebnisse entstehen. Das liegt daran, dass Sprachmodelle Inhalte nicht nur extrahieren, sondern interpretieren. Klassische oder regelbasierte Tools wie Octopus, Poppler/Pandoc oder lokal betriebene Pipelines sind hier stabiler, weil sie mit festen Verarbeitungsschritten arbeiten.

Beim Datenschutz haben lokal betriebene Lösungen ebenfalls Vorteile. Cloud-basierte Tools wie ChatGPT, Gemini, Mistral oder Online-Dienste übertragen Dokumente an externe Server. Für vertrauliche, personenbezogene oder geschäftskritische Inhalte kann das problematisch sein. Lokal ausgeführte Werkzeuge behalten die Daten innerhalb der eigenen Infrastruktur und bieten dadurch mehr Kontrolle.

1.4 Zentrale Schlussfolgerung

Die Studie zeigt, dass PDF-Konvertierung weit mehr ist als reine Textextraktion, da für RAG-Systeme und strukturierte Publikationsprozesse vor allem vollständige Inhalte, korrekte Strukturen und nachvollziehbare Quellen entscheidend sind. Nur wenn Dokumente zuverlässig und strukturiert aufbereitet werden, entsteht eine belastbare Datenbasis für KI-gestützte Anwendungen und weitere digitale Workflows.

Das Gesamtranking zeigt kein allgemein „bestes Tool“ auf, da die Anforderungen je nach Anwendungsfall unterschiedlich sind. Neben der Konvertierungsqualität müssen auch Faktoren wie Laufzeit, Reproduzierbarkeit und Datenschutz berücksichtigt werden.