9 Ergebnisse der Konvertierung

Die Auswertung des Kapitels „Überschriften, Dokumentstruktur und Seitenlayout“ zeigt deutliche Qualitätsunterschiede zwischen den einzelnen Konvertierungsverfahren. Die besten Ergebnisse erzielen Gemini XML mit 585 von 700 Punkten bzw. 84 % und ChatGPT Markdown mit 585 von 700 Punkten bzw. 84 %. Beide Verfahren erfassen den Text nahezu vollständig, entfernen Kopf- und Fußzeilen zuverlässig und markieren die Seitenumbrüche korrekt. Dahinter folgt Octopus mit 78 %, während Gemini Markdown mit 54 %, Mistral mit 45 % und OpenDataLoader mit 45 % nur mittlere Ergebnisse erreichen. Am schwächsten schneiden ChatGPT XML mit 31 % und Poppler/Pandoc mit 29 % ab.

Tool-Abkürzungen im Tabellenkopf: siehe Legende im Kapitel „Kurzbeschreibung dieser Studie“

Auffällig ist zunächst, dass der reine Textinhalt bei fast allen Tools korrekt erfasst wurde. Nur ChatGPT XML fällt hier stark ab, da lediglich der erste Absatz des ersten Kapitels vollständig erfasst wurde und der restliche Text fast komplett fehlt. Dadurch wird deutlich, dass die eigentliche Texterkennung zwar bei den meisten Verfahren zuverlässig funktioniert, die Qualität der Dokumentstrukturierung aber sehr unterschiedlich ausfällt.

Die größte Schwachstelle liegt bei vielen Tools in der Überschriftenhierarchie. Besonders problematisch ist die doppelt vorkommende erste Überschriftenebene: Bei Octopus führte sie dazu, dass die zweite H1-Überschrift als H2 interpretiert wurde und sich die folgenden Ebenen entsprechend verschoben. Ähnliche Verschiebungen zeigen sich auch bei ChatGPT Markdown und Gemini Markdown. Mistral erkennt nur die erste H1 korrekt und zeichnet danach fast alle weiteren Überschriften als H2 aus. OpenDataLoader zeigt ebenfalls deutliche Strukturprobleme, da die erste H1-Überschrift mit dem Titel zusammengezogen und die weiteren Ebenen uneinheitlich als H3, H4, H5 oder H6 ausgegeben werden.

Ein weiteres auffälliges Ergebnis betrifft den Titel „Flossen und Fell – Eine ungewöhnliche Freundschaft“. Dieser wird von mehreren Verfahren nicht als eigentlicher Dokumenttitel erkannt. Octopus gibt ihn nur fett aus, ChatGPT Markdown als kursiven Absatz, Gemini XML als fett markierten Absatz und Gemini Markdown sowie Mistral als normale Überschrift. Das zeigt, dass die Abgrenzung zwischen Dokumenttitel, Kapitelüberschrift und Unterüberschrift für viele Tools schwierig ist. Selbst bei sehr guten Gesamtergebnissen, etwa bei Gemini XML, bleibt diese Auffälligkeit bestehen.

Auch bei Kopf- und Fußzeilen zeigen sich klare Unterschiede. Die Seitenzahlen aus der Fußzeile werden von fast allen Tools entfernt; lediglich Poppler/Pandoc behält sie konsequent bei und Mistral löscht sie nur auf manchen Seiten des Testdokumentes. Deutlich problematischer sind die Kolumnentitel aus der Kopfzeile: Sie werden bei Mistral, Gemini Markdown, Poppler/Pandoc und OpenDataLoader nicht korrekt entfernt, sondern als Liste, Überschrift oder normaler Text übernommen. Damit entstehen zusätzliche Strukturelemente, die nicht zum eigentlichen Inhalt gehören und die spätere Weiterverarbeitung stören können.

Bei den Seitenumbrüchen überzeugen vor allem ChatGPT Markdown und Gemini XML, da sie diese exakt markieren.

Poppler/Pandoc erhält zwar ebenfalls Punkte für die Markierung der Seitenumbrüche, erzeugt dabei aber problematische Zusatzartefakte: Während der Verarbeitung des PDF-Dokuments wird jede Seite zusätzlich als Bild exportiert und vor jedem Seitenumbruch wird ein Layout-Container mit Bildattributen eingefügt, der unter anderem auch die jeweilige PDF-Seitennummer enthält. Das macht die Ausgabe trotz erkannter Seitenwechsel deutlich weniger sauber.

Insgesamt zeigt die Auswertung, dass nicht die reine Texterkennung, sondern vor allem die semantische Dokumentstruktur über die Qualität der Konvertierung entscheidet. Besonders leistungsfähig sind Verfahren, die Überschriftenhierarchie, Absätze, Kopf- und Fußzeilen sowie Seitenumbrüche gleichzeitig korrekt behandeln. In diesem Kapitel liefern deshalb Gemini XML, ChatGPT Markdown und Octopus die zuverlässigsten Ergebnisse. Die schwächeren Verfahren zeigen dagegen typische Fehler wie falsch ausgezeichnete Überschriftenebenen, übernommene Kolumnentitel, nicht entfernte Seitenzahlen aus der Fußzeile oder sogar fehlende Textteile.

In diesem Kapitel wurde untersucht, wie gut die verschiedenen Tools Textauszeichnungen und Inline-Formatierungen aus dem Ausgangsdokument erkennen und in das jeweilige Zielformat übertragen. Zu solchen Textauszeichnungen gehören zum Beispiel Fettdruck, Kursivschrift, Unterstreichungen, durchgestrichener Text, Hoch- und Tiefstellungen, aber auch farbliche Gestaltungen wie rote Schriftfarbe oder eine gelbe Texthervorhebung. Diese Formatierungen sind wichtig, weil sie nicht nur das Aussehen eines Textes verändern, sondern häufig auch bestimmte Inhalte betonen oder zusätzliche Bedeutungen transportieren.

Tool-Abkürzungen im Tabellenkopf: siehe Legende im Kapitel „Kurzbeschreibung dieser Studie“

Die Auswertung des Kapitels „Textauszeichnungen und Inline-Formatierung“ zeigt deutliche Unterschiede zwischen den getesteten Konvertierungsverfahren. Am besten schneidet ChatGPT Markdown mit 685 von 800 Punkten bzw. 86 % ab. Danach folgt Octopus mit 600 Punkten bzw. 75 %. Deutlich schwächer sind Poppler/Pandoc mit 30 %, Mistral und Gemini XML mit jeweils 25 % sowie Gemini Markdown und OpenDataLoader mit jeweils 14 %. Das schlechteste Ergebnis erzielt ChatGPT XML mit nur 1 %, da hier lediglich ein sehr kleiner Textausschnitt des Kapitels erfasst wurde.

Insgesamt wird sichtbar, dass die reine Texterkennung den meisten Tools deutlich besser gelingt als die Übernahme der eigentlichen Inline-Formatierungen. Der Inhalt wurde bei fast allen Verfahren weitgehend korrekt erfasst. Besonders problematisch sind jedoch Formatierungen wie rote Schriftfarbe, gelbe Texthervorhebung, Unterstreichung und Durchstreichung. Diese Auszeichnungen wurden von vielen Tools gar nicht oder nur teilweise erkannt. Auffällig ist außerdem, dass die Hoch- und Tiefstellungen vergleichsweise häufig korrekt übernommen wurden, etwa bei Octopus, Mistral, ChatGPT Markdown und Gemini XML. Bei anderen Verfahren wurden sie dagegen falsch interpretiert oder nur als normaler Fließtext ausgegeben.

Auffällig ist außerdem, dass Hoch- und Tiefstellungen bei mehreren Tools besser funktionieren als andere Formatierungen. Octopus, Mistral, ChatGPT Markdown und Gemini XML konnten diese zumindest grundsätzlich erfassen. Probleme entstehen jedoch, wenn diese Auszeichnungen falsch interpretiert werden, wie bei Gemini Markdown, wo sie als mathematische Formeln ausgegeben wurden.

Die beste Gesamtleistung liefert ChatGPT Markdown, weil hier nicht nur der Textinhalt, sondern auch ein großer Teil der Inline-Formatierungen erhalten bleibt. Octopus zeigt ebenfalls ein gutes Ergebnis, verliert aber deutlich bei den farblichen Markierungen. Die schwächeren Tools zeigen dagegen, dass eine korrekte Texterkennung allein nicht ausreicht, wenn die Formatierungen für die spätere Weiterverarbeitung oder Darstellung relevant sind.

Mistral liefert hierfür ein anschauliches Beispiel: Der Text sowie Hoch- und Tiefstellungen wurden korrekt erfasst, alle weiteren Textauszeichnungen und Inline-Formatierungen gingen jedoch verloren.

Zusammenfassend zeigt die Auswertung, dass die meisten Tools den Textinhalt relativ zuverlässig erfassen, aber große Schwierigkeiten bei differenzierten Inline-Formatierungen haben. Besonders Farben, Hervorhebungen, Unterstreichungen und Durchstreichungen gehen häufig verloren. Die besten Ergebnisse entstehen dort, wo nicht nur der Text, sondern auch die semantische Struktur der Formatierungen erkannt und in geeignete Auszeichnungselemente überführt wird. In dieser Kategorie ist ChatGPT Markdown am stärksten, während Octopus ebenfalls gute Ergebnisse erzielt, aber bei farblichen Markierungen Schwächen zeigt.

Das Kapitel „Sonderzeichen, Zahlen und Schriftarten“ prüft, wie zuverlässig die einzelnen Konvertierungstools typografisch anspruchsvolle Inhalte erkennen und wiedergeben. Im Mittelpunkt stehen dabei nicht nur der reine Fließtext, sondern vor allem Sonderzeichen und Zahlenformate in verschiedenen Schriftarten und unterschiedlichen Schriftschnitten.

Tool-Abkürzungen im Tabellenkopf: siehe Legende im Kapitel „Kurzbeschreibung dieser Studie“

Insgesamt schneidet ChatGPT Markdown mit 390 von 400 Punkten (98 %) am besten ab. Dahinter folgen Mistral mit 95 % und OpenDataLoader mit 90 %. Octopus erreicht 82 %, Poppler/Pandoc 76 % und Gemini XML 75 %. Schwächer fällt Gemini Markdown mit 68 % aus. Mit großem Abstand am schlechtesten ist ChatGPT XML, das nur 17 von 400 Punkten bzw. 4 % erreicht.

Besonders auffällig ist, dass die besten Ergebnisse nicht nur vom korrekt erkannten Text abhängen, sondern stark von der Erhaltung der Struktur und der Sonderzeichen. ChatGPT Markdown erkennt alle Sonderzeichen und Zahlen korrekt, verliert aber Punkte, da fünf zusätzliche Absätze entstanden sind. Mistral erreicht ebenfalls ein sehr gutes Ergebnis, interpretiert in der Schriftart Courier New das Zeichen „¼“ jedoch teilweise falsch als „4“.

Deutlich problematischer ist Gemini Markdown. Zwar wird der Text grundsätzlich erkannt, aber bei Sonderzeichen treten viele Fehler auf. Besonders häufig fehlen oder verändern sich „©“, „®“, „¼“, „½“, „¾“ und „=“. Teilweise werden Sonderzeichen durch falsche Zahlenfolgen ersetzt, etwa „¼“ durch „4“, „1½“ oder „14“, und auch der Sicherheitscode „739#46215$8€3*“ wird in einzelnen Varianten falsch als mathematischer Ausdruck interpretiert.

Zusammenfassend zeigt die Auswertung, dass ChatGPT Markdown die beste Balance aus korrektem Inhalt, Zahlen, Sonderzeichen und Struktur bietet. Mistral und OpenDataLoader sind ebenfalls leistungsfähig, weisen aber Schwächen bei Formatierungen und Detailauszeichnungen auf. Octopus und Poppler/Pandoc überzeugen ebenfalls bei der Zeichenerkennung, bekommen jedoch aufgrund zahlreicher zusätzlich eingefügter Absätze und Zeilenumbrüche Punktabzug. Die größten Auffälligkeiten liegen bei Gemini Markdown und den beiden XML-Ausgaben, wo Sonderzeichen fehlen, falsch ersetzt oder ganze Textabschnitte nicht exportiert werden. Diese Beispiele zeigen, dass fehlende Sonderzeichen und ausgelassene Textteile die Aussagekraft und Vollständigkeit der Konvertierung stark beeinträchtigen.

Für das Kapitel „Mehrspaltigkeit“ wurde geprüft, ob die Tools einen mehrspaltig gesetzten Text korrekt in eine lineare Lesereihenfolge übertragen können. Entscheidend ist dabei nicht nur, dass die Spalten in der richtigen Reihenfolge zusammengeführt werden, sondern auch, dass Absätze erhalten bleiben und layout-bedingte Silbentrennungen oder Zeilenumbrüche nicht in die Ausgabe übernommen werden.

Tool-Abkürzungen im Tabellenkopf: siehe Legende im Kapitel „Kurzbeschreibung dieser Studie“

Besonders stark schneiden Gemini Markdown und ChatGPT Markdown ab: Beide erreichen mit 295 von 300 Punkten jeweils 98 % und liegen damit an der Spitze. Direkt dahinter folgt Mistral mit 290 Punkten bzw. 97 %. Auch OpenDataLoader erzielt mit 280 Punkten bzw. 93 % noch ein gutes Ergebnis. Deutlich schwächer fallen dagegen Octopus mit 190 Punkten bzw. 63 %, Poppler/Pandoc und Gemini XML mit jeweils 200 Punkten bzw. 67 % aus. ChatGPT XML erreicht in dieser Auswertung 0 Punkte, da der Inhalt des Testkapitels nahezu vollständig fehlt und nur ein kurzes Fragment erfasst wurde.

Auffällig ist zunächst, dass die reine Spaltenverarbeitung für fast alle Verfahren kein größeres Problem darstellt. Bis auf ChatGPT XML erhalten alle Tools in diesem Kriterium die volle Punktzahl. Die Schwierigkeiten entstehen vielmehr bei der sauberen Rekonstruktion der Absatzstruktur und beim Umgang mit Silbentrennungen. Bei Mistral wurden beispielsweise alle Spalten korrekt verarbeitet, der Text korrekt ausgezeichnet und die Absätze grundsätzlich erkannt; allerdings wurden vor den beiden Spaltenumbrüchen zusätzliche Absätze eingefügt. Ein ähnliches Problem zeigt sich bei OpenDataLoader, wo zusätzlich schon im ersten Abschnitt ein nicht vorhandener Absatz erzeugt wurde.

Die besten Ergebnisse liefern Gemini Markdown und ChatGPT Markdown, weil sie die Spalten korrekt zusammenführen, die Silbentrennungen auflösen und den Text insgesamt sauber ausgeben. Ihre einzige größere Schwäche liegt darin, dass der erste Absatz nicht korrekt als eigener Absatz erkannt wurde. Dadurch verlieren beide nur wenige Punkte im Kriterium „Absätze sauber“. Mistral ist ähnlich zuverlässig, verliert aber etwas mehr Punkte, weil an den Stellen der ursprünglichen Spaltenumbrüche zusätzliche Absatztrennungen entstehen. Besonders auffällig ist das Ergebnis von Octopus. Obwohl die Spalten korrekt verarbeitet und die Absätze im Wesentlichen erkannt wurden, fällt die Gesamtwertung mit 63 % deutlich niedriger aus. Der Hauptgrund dafür ist, dass Octopus die Silbentrennungen aus dem Originaltext übernimmt, zum Beispiel Wörter wie „Stran-des“, „erkun-den“ oder „Krib-beln“.

Insgesamt zeigt die Auswertung, dass das größte Problem bei mehrspaltigen Dokumenten nicht die Erkennung der Lesereihenfolge ist, sondern die korrekte Rekonstruktion der ursprünglichen Textstruktur. Die stärksten Ergebnisse erzielen die Markdown-Varianten von Gemini und ChatGPT, weil sie sowohl den Textfluss als auch die Silbentrennungen weitgehend korrekt behandeln. Schwächere Ergebnisse entstehen vor allem dann, wenn Layout-Artefakte wie Spaltenumbrüche, weiche Zeilenumbrüche oder Silbentrennungen in die Ausgabe übernommen werden oder wenn die Absatzstruktur verloren geht.

In diesem Kapitel wurde untersucht, wie zuverlässig die Konvertierungstools Fußnoten, Endnoten und Literaturverweise aus dem PDF-Testdokument übernehmen. Besonders relevant ist dabei nicht nur, ob Marker und Inhalte überhaupt erkannt werden, sondern ob auch die Referenzbeziehung zwischen Textstelle und Anmerkung erhalten bleibt. Zusätzlich wurde geprüft, ob Literaturverweise als eigenständige referenzielle Elemente erkannt oder lediglich als normaler Fließtext behandelt werden.

Tool-Abkürzungen im Tabellenkopf: siehe Legende im Kapitel „Kurzbeschreibung dieser Studie“

In der Gesamtwertung erreichen Octopus und ChatGPT Markdown mit jeweils 400 von 500 Punkten die besten Ergebnisse und liegen damit bei 80 %. Beide Tools schneiden damit deutlich besser ab als die übrigen Systeme, unterscheiden sich aber in der Art der Fehler: Octopus zeichnet Fußnoten und Literaturverweise als referenzielle Strukturen aus, während Endnoten als Fließtext dargestellt werden. ChatGPT Markdown bildet hingegen Fußnoten und Endnoten korrekt mit Referenzbeziehung ab, übernimmt Literaturverweise aber nur als Plain Text.

Im Mittelfeld liegen Poppler/Pandoc und OpenDataLoader mit jeweils 200 Punkten bzw. 40 %. Beide Tools erkennen zwar viele Marker und Inhalte, verlieren aber die eigentliche Referenzbeziehung. Mistral erreicht 170 Punkte und damit 34 %, weil Fußnoten zwar erkannt werden, Endnoten jedoch nur teilweise und alle Referenzbeziehungen verlorengehen. Gemini XML kommt auf 145 Punkte bzw. 29 % und Gemini Markdown auf 140 Punkte bzw. 28 %. Beide Gemini-Varianten zeigen einzelne korrekte Ansätze, verlieren aber größere Teile der Fuß- und Endnoten bzw. des Kapitelinhalts. ChatGPT XML erreicht 0 Punkte, da nur ein sehr kleines Fragment des Kapitels übernommen wurde und die relevanten Strukturen praktisch fehlen.

Ein wiederkehrendes Problem betrifft die Literaturverweise. Fast alle Tools behandeln sie nicht als eigenständige referenzielle Elemente, sondern übernehmen sie lediglich als Bestandteil des laufenden Textes. Nur Octopus und Gemini XML erkennen Literaturverweise als solche und verknüpfen sie mit den entsprechenden Einträgen im Literaturverzeichnis. Bei Gemini XML wird dieses positive Ergebnis jedoch dadurch relativiert, dass gleichzeitig große Teile des Kapitels und damit auch zahlreiche Literaturverweise fehlen.

Auch die Verarbeitung von Endnoten bereitet mehreren Tools Schwierigkeiten. Mistral erkennt zwar die Positionen der Marker im Fließtext, verändert aber deren ursprüngliche Chronologie und ersetzt römische Ziffern teilweise durch arabische Zahlen. Gemini Markdown erkennt die Endnoten gar nicht. OpenDataLoader übernimmt Marker, stellt aber keine Verknüpfung zu den Inhalten her. Dadurch zeigt sich, dass Endnoten für viele Konverter komplexer sind als Fußnoten, weil sie nicht unmittelbar am Seitenende stehen und deshalb stärker von einer stabilen Dokumentstruktur abhängen.

Beim mehrspaltigen Text mit Fußnoten treten zusätzliche Probleme auf. Poppler/Pandoc platziert die Fußnoteninhalte als Plain Text zwischen Textteilen der ersten und zweiten Spalte. Dadurch wird die Reihenfolge des Textes gestört und der Sinnzusammenhang teilweise verfälscht.

Insgesamt zeigt das Kapitel, dass die bloße Texterkennung bei Fußnoten, Endnoten und Literaturverweisen nicht ausreicht. Entscheidend ist, ob Marker und Inhalte über Referenzbeziehungen als zusammengehörige Struktur erhalten bleiben. Für eine Weiterverarbeitung in strukturierten Formaten sind deshalb vor allem die Tools geeignet, die nicht nur Text extrahieren, sondern auch die semantische Funktion der Anmerkungen bewahren. Unter diesem Gesichtspunkt liefern ChatGPT Markdown und Octopus das ausgewogenste Ergebnis.

Ein zentrales Defizit zeigt sich bei der Auszeichnung von Literaturverweisen. Nur Gemini XML und Octopus verknüpfen Literaturverweise im Text korrekt mit Einträgen im Literaturverzeichnis, alle anderen Tools erreichen hier 0 Punkte. Für wissenschaftliche Dokumente und RAG-Anwendungen ist das problematisch, weil Quellen dann nicht direkt mit den Textstellen verknüpft werden können, auf die sie sich beziehen. Dadurch gehen wichtige Bezüge zwischen Argumentation, Nachweis und Quelle verloren.

Im Kapitel „Mehrsprachigkeit“ wurde geprüft, ob die Konvertierungstools Texte in unterschiedlichen Schriftsystemen zuverlässig erkennen und in die Zielformate übertragen können. Getestet wurden deutscher, hebräischer, arabischer, griechischer und chinesischer Text. Besonders relevant ist dabei, ob die Tools nicht nur lateinische Schrift korrekt erfassen, sondern auch linksläufige Schriften wie Hebräisch und Arabisch sowie nicht lateinische Zeichensysteme wie Griechisch und Chinesisch sauber verarbeiten.

Tool-Abkürzungen im Tabellenkopf: siehe Legende im Kapitel „Kurzbeschreibung dieser Studie“

Octopus, Mistral, Gemini Markdown und ChatGPT Markdown erreichen jeweils 500 Punkte und damit 100 %, da sie alle Sprachabschnitte vollständig und korrekt erfassen. Poppler/Pandoc und OpenDataLoader liegen mit jeweils 340 Punkten bei 68 %, weil sie Deutsch, Griechisch und Chinesisch korrekt verarbeiten, aber deutliche Probleme bei Hebräisch und Arabisch zeigen. Gemini XML erreicht nur 125 Punkte bzw. 25 %, da pro Sprache nur einzelne Teile des Textes übernommen werden. ChatGPT XML schneidet mit 50 Punkten und 10 % am schwächsten ab, weil jeweils nur der erste Satz der Sprachabschnitte korrekt erfasst wird.

Ein zentrales Problem zeigt sich bei den linksläufigen Schriften Hebräisch und Arabisch. Poppler/Pandoc und OpenDataLoader verarbeiten Deutsch, Griechisch und Chinesisch korrekt, scheitern aber deutlich an Hebräisch und Arabisch. Die Zeichen werden teilweise in falscher Reihenfolge ausgegeben, Wörter werden zerrissen und die Leserichtung wird nicht zuverlässig erhalten. Dadurch entstehen Texte, die zwar noch einzelne Zeichen der Ausgangssprache enthalten, aber inhaltlich kaum noch verwendbar sind. Für mehrsprachige Dokumente ist das ein schwerwiegender Fehler, weil gerade die korrekte Leserichtung und Zeichenreihenfolge entscheidend für die spätere Weiterverarbeitung sind.

Ebenfalls auffällig ist die starke Inhaltsverkürzung bei den XML-Ausgaben von Gemini XML und ChatGPT XML. Beide Tools legen zwar eine erkennbare Kapitelstruktur mit Sprachabschnitten an, übernehmen aber nur einen kleinen Teil des eigentlichen Textes. Bei Gemini XML bleiben immerhin mehrere Sätze pro Sprache erhalten, während bei ChatGPT XML jeweils nur der erste Satz ausgegeben wird. Für strukturierte XML-Workflows ist das besonders problematisch, weil die Ausgabe auf den ersten Blick formal korrekt wirken kann, inhaltlich aber große Teile des Kapitels fehlen.

Während die meisten Tools alle Sprachen vollständig erfassen, zeigen Poppler/Pandoc und OpenDataLoader deutliche Schwächen bei den beiden linksläufigen Schriften Arabisch und Hebräisch. Bei Gemini XML und ChatGPT XML werden zwar alle Sprachabschnitte angelegt, große Teile des Inhalts gehen jedoch verloren. Für den praktischen Einsatz in RAG-Pipelines oder XML-basierten Workflows reicht es daher nicht aus, nur die formale Kapitelstruktur zu prüfen. Entscheidend ist, ob die Texte vollständig, in der richtigen Leserichtung und ohne Zeichenverluste übernommen werden.

Das Kapitel „Bilder, Schaubilder und Diagramme“ prüft, wie zuverlässig die verschiedenen Konvertierungstools visuelle Inhalte aus dem Testdokument erfassen. Dabei geht es nicht nur darum, ob Bilder, Schaubilder und Diagramme grundsätzlich erkannt werden, sondern auch darum, ob eingebettete Texte, Alternativtexte, automatisch erzeugte Bildbeschreibungen und tabellarische Inhalte innerhalb einer Grafik korrekt übernommen werden. Besonders relevant ist dies für die strukturierte Weiterverarbeitung, weil visuelle Informationen in RAG-Systemen oder XML-basierten Workflows sonst verloren gehen oder nur unvollständig abrufbar sind.

Tool-Abkürzungen im Tabellenkopf: siehe Legende im Kapitel „Kurzbeschreibung dieser Studie“

Insgesamt zeigt die Auswertung deutliche Unterschiede zwischen den Tools. ChatGPT Markdown erreicht mit 86 % das beste Ergebnis und fällt durch die korrekte Erfassung aller Grafiken, gute Bildbeschreibungen sowie die korrekte Tabellenverarbeitung im Bild auf. Octopus erzielt mit 43 % das zweitbeste Ergebnis und erfasst Bilder, Schaubilder sowie Alternativtexte zuverlässig. Mistral kommt auf 34 % und erfasst mehrere Grafiken, kann sie aber teilweise nicht anzeigen; positiv ist die korrekte Verarbeitung des Tabellenbildes. Gemini Markdown erreicht 12 %, Gemini XML 10 % und OpenDataLoader 6 %, wobei die Inhalte jeweils nur teilweise, fehlerhaft oder ohne nutzbare Bildpfade erfasst werden. Poppler/Pandoc und ChatGPT XML schneiden mit jeweils 1 % am schwächsten ab, da kaum verwertbare visuelle Informationen erhalten bleiben.

Auffällig ist zunächst, dass die reine Erkennung von Bildern nicht automatisch bedeutet, dass die Inhalte auch nutzbar sind. Mehrere Tools legen zwar Bildverweise an, erzeugen aber keine funktionierenden Bildpfade oder keine semantischen Beschreibungen. Besonders deutlich zeigt sich dies bei Gemini XML und ChatGPT XML. Dort werden Bilder zwar teilweise im XML-Code referenziert, die Verweise führen jedoch ins Leere, da die Bilder nicht in einem Bilderordner hinterlegt werden. Für eine spätere Weiterverarbeitung ist das problematisch, weil die Struktur formal vorhanden ist, der eigentliche Inhalt aber nicht verfügbar bleibt.

Ein zweiter wichtiger Unterschied liegt bei den Bildbeschreibungen. Octopus übernimmt vorhandene Alternativtexte zuverlässig, während ChatGPT Markdown besonders stark darin ist, aus dem Kontext neue Beschreibungen zu erzeugen. Das ist für barrierefreie Dokumente und für Retrieval-Szenarien sehr wichtig, weil visuelle Inhalte dadurch textlich auffindbar werden. Mistral, Gemini Markdown, Poppler/Pandoc und OpenDataLoader erzeugen dagegen keine oder kaum verwertbare Beschreibungen. Dadurch bleiben die visuellen Elemente für textbasierte Auswertungen weitgehend unsichtbar.

Besonders auffällig ist außerdem der Umgang mit dem Bild, das eine Tabelle enthält. Hier schneiden Mistral und ChatGPT Markdown stark ab, weil sie die Tabelle korrekt als strukturierte Tabelle ausgeben. Gemini Markdown erkennt die Tabelle ebenfalls, ordnet aber einzelne Werte falsch zu. Octopus erkennt das Tabellenbild zwar korrekt als Bild mit Alternativtext, verarbeitet die enthaltene Tabelle jedoch nicht zusätzlich als eigenständige Tabellenstruktur. Für Workflows, in denen Tabellenwerte gezielt abgefragt oder weiterverarbeitet werden sollen, ist diese Unterscheidung zentral.

Bei den Diagrammen zeigt sich ein weiteres Problem: Einige Tools extrahieren nur sichtbare Textbestandteile wie Titel, Achsenbeschriftungen oder Legenden. Poppler/Pandoc und OpenDataLoader geben Diagramminhalte zum Beispiel als losen Plain Text aus, ohne die Struktur des Diagramms oder das Diagramm selbst zu erfassen. Damit bleibt zwar ein Teil der sichtbaren Beschriftung erhalten, die eigentliche Bedeutung des Diagramms geht aber weitgehend verloren.

Zusammenfassend zeigt dieses Kapitel, dass ChatGPT Markdown und Octopus am stabilsten bei der allgemeinen Erfassung von Bildern arbeiten. Während Octopus zudem vorhandene Alternativtexte korrekt übernimmt, ist ChatGPT besonders gut bei der Generierung aussagekräftiger Bildbeschreibungen und bei der zusätzlichen strukturierten Verarbeitung des Tabellenbildes.

Die übrigen Tools verlieren entweder die Grafiken selbst, erzeugen keine brauchbaren Beschreibungen oder geben visuelle Inhalte nur fragmentarisch wieder. Damit wird deutlich, dass visuelle Dokumentbestandteile eine besondere Herausforderung für Konvertierungstools darstellen und nicht allein über Bildpfade, sondern vor allem über funktionierende Verknüpfungen, Alternativtexte und strukturierte Extraktion bewertet werden müssen.

Die Ergebnisse des Kapitels „Tabellen“ zeigen deutliche Unterschiede zwischen den getesteten Konvertern bei der Erkennung und strukturellen Aufbereitung tabellarischer Inhalte. Bewertet wurden die Erkennung einfacher Tabellen, komplexer Tabellen mit Überspannungen, mehrseitiger Tabellen mit Tabellenkopf-Wiederholung sowie Tabellen ohne sichtbare Rahmenlinien. Die maximale Punktzahl betrug 400 Punkte.

Tool-Abkürzungen im Tabellenkopf: siehe Legende im Kapitel „Kurzbeschreibung dieser Studie“

Die besten Ergebnisse erzielten ChatGPT (Markdown) mit 400 Punkten (100 %) sowie Octopus mit 395 Punkten (99 %). Beide Systeme konnten nahezu alle Tabellenstrukturen korrekt erfassen und in einer strukturierten Form ausgeben. Mistral (74 %) und Gemini Markdown (73 %) erreichten ebenfalls gute Ergebnisse, zeigten jedoch Schwächen bei komplexen Tabellen und bei Tabellen ohne Rahmenlinien. OpenDataLoader erreichte 64 % und konnte zwar viele Tabellen erfassen, verlor jedoch bei bestimmten Tabellentypen die semantische Struktur. Deutlich schwächer schnitten Gemini XML (26 %), ChatGPT XML (13 %) und insbesondere Poppler/Pandoc (5 %) ab.

Auffällig ist die sehr hohe Leistungsfähigkeit von ChatGPT Markdown und Octopus. Beide Systeme erfassten einfache, komplexe und mehrseitige Tabellen nahezu vollständig.

Poppler/Pandoc löste die Tabellenstruktur hingegen fast vollständig auf und wandelte die Inhalte in Fließtext um. Dadurch bleiben zwar die Daten erhalten, die Beziehungen zwischen Zeilen, Spalten und Überschriften gehen jedoch verloren.

Obwohl XML grundsätzlich sehr gut für die Beschreibung komplexer Tabellenstrukturen geeignet ist, konnten die getesteten XML-Konverter die Tabellen nur unzureichend erfassen. Bei Gemini XML und ChatGPT XML gingen bei der Konvertierung alle Tabellen bis auf die einfachen Tabellen fast vollständig verloren. So wurde bei Gemini XML beispielsweise die einfache Tabelle und ein kleiner Teil der mehrseitigen Tabelle erfasst, die komplexen Tabellen mit Überspannungen wurden hingegen nicht konvertiert.

Insgesamt zeigt das Kapitel, dass die reine Texterkennung für Tabellen nicht ausreicht. Entscheidend für die Weiterverarbeitung in RAG-Systemen ist die korrekte Rekonstruktion der semantischen Tabellenstruktur. Besonders komplexe Tabellen mit Überspannungen sowie Tabellen ohne sichtbare Rahmenlinien erweisen sich dabei als geeignete Testfälle, um die tatsächliche Qualität eines Konverters zu bewerten. Die Ergebnisse zeigen, dass aktuell vor allem Octopus und ChatGPT Markdown in der Lage sind, diese Anforderungen zuverlässig zu erfüllen.

Im Kapitel „Listen und Aufzählungen“ wurde geprüft, wie zuverlässig die Konvertierungstools verschiedene Listenformen aus dem PDF übernehmen. Dazu gehören einfache Aufzählungen, nummerierte Listen, alphabetische Listen, gemischte Listenformen, geschachtelte Listen sowie Randnummern. Gerade für strukturierte Weiterverarbeitung sind Listen wichtig, weil sie Inhalte nicht nur optisch gliedern, sondern auch semantische Beziehungen zwischen Hauptpunkten, Unterpunkten und begleitenden Randnummern sichtbar machen.

Tool-Abkürzungen im Tabellenkopf: siehe Legende im Kapitel „Kurzbeschreibung dieser Studie“.

Gemini Markdown und ChatGPT Markdown erreichen mit jeweils 100 % die volle Punktzahl und übernehmen alle Listenformen korrekt. Octopus erreicht 80 % und zeigt nur kleinere Schwächen bei der alphabetischen Liste und bei den Randnummern. Mistral und Poppler/Pandoc liegen mit 75 % im mittleren Bereich, da vor allem geschachtelte Listen und Randnummern nicht sauber umgesetzt werden. Bei Poppler/Pandoc ist zudem problematisch, dass einfache Aufzählungszeichen (Bullet Points) nicht mit der üblichen Markdown-Syntax ausgezeichnet werden. OpenDataLoader erreicht 69 %, erkennt viele Listen zwar grundsätzlich, gibt sie aber formal unsauber aus. Deutlich schwächer fallen die XML-Ausgaben aus: Gemini XML erreicht nur 19 %, ChatGPT XML lediglich 7 %. Hier fehlen viele Listen oder werden nur unvollständig übernommen.

Auffällig ist vor allem der Unterschied zwischen den Markdown- und XML-Ausgaben. Die Markdown-Konvertierungen von Gemini und ChatGPT bilden Listenstrukturen sehr stabil ab. Einfache Aufzählungen, Nummerierungen, alphabetische Listen und verschachtelte Listen bleiben hier weitgehend nachvollziehbar erhalten. Das ist besonders wichtig, weil die Beziehung zwischen Haupt- und Unterpunkten für die spätere Verarbeitung erhalten bleibt. Auch Randnummern werden sinnvoll als nummerierte Abschnitte dargestellt, sodass sie weiterhin als Orientierungspunkte im Text genutzt werden können.

Bei den mittleren Ergebnissen zeigt sich, dass viele Tools einfache Listen noch zuverlässig erkennen, aber bei komplexeren Listenformen deutlich unsicherer werden. Octopus verarbeitet die meisten Listen korrekt, unterscheidet aber alphabetische Listen nicht sauber von nummerierten Listen. Mistral reduziert die geschachtelte Liste zu einer einfachen Aufzählung, wodurch die Hierarchie verloren geht. Poppler/Pandoc übernimmt zwar alle Inhalte korrekt, zeichnet sie aber teilweise nicht mit entsprechender Markdown-Syntax aus. Zudem werden bei der alphabetischen Liste die Buchstaben vom Text getrennt und Randnummern erst am Ende gesammelt dargestellt. Dadurch verlieren sie ihren direkten Bezug zur jeweiligen Textstelle. OpenDataLoader zeigt, dass eine erkennbare Listenausgabe allein nicht ausreicht. Die Listenpunkte werden häufig doppelt markiert, zum Beispiel durch ein Markdown-Listenzeichen und zusätzlich durch das ursprüngliche Symbol. Dadurch wirkt die Ausgabe formal überladen und weniger sauber strukturiert. Besonders bei der geschachtelten Liste gehen Ebenen verloren oder werden nicht eindeutig voneinander getrennt.

Die XML-Ergebnisse fallen insgesamt deutlich schwächer aus. Gemini XML erkennt nur einzelne Teile der Listen und lässt mehrere Listenformen ganz aus. ChatGPT XML reduziert das Kapitel fast vollständig auf wenige Fragmente. Für strukturorientierte Workflows ist das problematisch, weil nicht nur Formatierung, sondern auch Inhalt und Zusammenhang verloren gehen.

Insgesamt zeigt die Auswertung, dass Listen für die Konvertierung eine anspruchsvolle Struktur darstellen. Während einfache Listen von vielen Tools noch gut verarbeitet werden, entstehen die größten Fehler bei geschachtelten Listen und Randnummern. Besonders zuverlässig sind in diesem Kapitel die Markdown-Ausgaben von Gemini und ChatGPT. Die XML-Ausgaben sind dagegen deutlich instabiler und eignen sich in dieser Form nur eingeschränkt für eine Weiterverarbeitung, bei der vollständige und hierarchisch korrekte Listenstrukturen benötigt werden.

Im Kapitel „Mathematische Inhalte und Formeln“ wurde geprüft, ob die Konvertierungstools mathematische Inhalte zuverlässig erfassen und in einer weiterverarbeitbaren Form ausgeben können. Bewertet wurden korrekt dargestellte Brüche, korrekt erkannte Wurzeln, mathematische Inhalte im Fließtext sowie die Darstellung von Formeln als LaTeX, Inline-Code oder MathML. Insgesamt zeigt die Auswertung deutliche Unterschiede zwischen den Tools. Während einige Systeme mathematische Strukturen fast vollständig erhalten, verlieren andere vor allem bei komplexeren Formeln die innere Struktur oder erfassen nur einzelne Fragmente.

Tool-Abkürzungen im Tabellenkopf: siehe Legende im Kapitel „Kurzbeschreibung dieser Studie“

Das beste Ergebnis erreicht ChatGPT Markdown mit 395 von 400 Punkten bzw. 99 %. Es folgen Mistral mit 390 Punkten bzw. 98 % und Gemini Markdown mit 380 Punkten bzw. 95 %. Octopus kommt auf 125 Punkte bzw. 31 %. Poppler/Pandoc und OpenDataLoader liegen beide bei 120 Punkten bzw. 30 %. Gemini XML erreicht 100 Punkte bzw. 25 %. Das schwächste Ergebnis erzielt ChatGPT XML mit 5 Punkten bzw. 1 %.

Auffällig ist, dass die KI-Tools mathematische Inhalte relativ zuverlässig für die Konvertierungsstrecke „PDF-zu-Markdown“ rekonstruieren. Mistral, Gemini Markdown und ChatGPT Markdown geben Brüche, Wurzeln und mathematische Inhalte im Fließtext weitgehend korrekt als LaTeX aus. Dennoch kommt es an einzelnen Stellen zu semantischen Fehlern: Bei Mistral wird in einer Wurzel ein „n“ als „7“ verarbeitet, bei Gemini Markdown wird eine Wurzel im Fließtext fälschlich als „v“ ausgegeben und mehrere Minuszeichen in Brüchen als Malpunkte dargestellt.

Deutlich problematischer sind die Ergebnisse von Octopus, Poppler/Pandoc und OpenDataLoader. Diese Tools erkennen zwar teilweise Zahlen, Zeichen und einzelne Bestandteile der Formeln, verlieren aber bei Brüchen und Wurzeln häufig den strukturellen Zusammenhang. Besonders bei mehrzeiligen Formeln zerfallen Zähler, Nenner, Wurzelzeichen, Exponenten und Operatoren in einzelne Textfragmente. Dadurch sind die ursprünglichen Formeln nur schwer oder gar nicht mehr rekonstruierbar. Die mathematischen Inhalte im Fließtext werden dagegen deutlich besser erkannt, weil sie linear im Text eingebettet sind.

Bei den XML-Ausgaben zeigt sich ein weiteres Problem. Gemini XML erfasst nur einen Teil der mathematischen Inhalte und dies auch nicht in Form von LaTeX oder MathML. Es fehlen wichtige Bestandteile des Kapitels und einzelne Inhalte werden an manchen Stellen verändert. ChatGPT XML schneidet noch schwächer ab, da fast das gesamte Kapitel fehlt und nur kleine Fragmente der Formeln im Fließtext erfasst werden.

Insgesamt zeigt die Auswertung, dass mathematische Inhalte eine besonders anspruchsvolle Konvertierungsaufgabe darstellen. Entscheidend ist nicht nur die reine Zeichenerkennung, sondern der Erhalt der räumlichen und logischen Formelstruktur. Für technische Dokumentationsprozesse, XML-Workflows und RAG-Systeme sind daher vor allem Konverter geeignet, die Formeln semantisch rekonstruieren und in LaTeX, MathML oder eine vergleichbar strukturierte Form überführen.

Textboxen werden in Dokumenten häufig für Zusatzinformationen, Beispiele, Hinweise, Definitionen oder besonders relevante Aussagen verwendet. Wenn ein Konvertierungstool Textboxen nicht erkennt, bleibt zwar teilweise der Text erhalten, aber seine besondere Funktion im Dokument geht verloren.

Tool-Abkürzungen im Tabellenkopf: siehe Legende im Kapitel „Kurzbeschreibung dieser Studie“

Die Auswertung dieses Kapitels zeigt, dass die meisten Tools den Textinhalt der Boxen korrekt erfassen. Unterschiede zeigen sich jedoch bei der Erkennung der eigentlichen Textboxstruktur. Octopus, Mistral, Gemini Markdown, Poppler/Pandoc und OpenDataLoader übernehmen zwar den Inhalt, erkennen die Boxen selbst aber nicht zuverlässig als Gestaltungselement. Dadurch erreichen diese Tools jeweils 100 von 200 Punkten und damit 50 %. ChatGPT Markdown schneidet mit 200 von 200 Punkten bzw. 100 % am besten ab, da sowohl der Inhalt als auch die Boxen bzw. Rahmen korrekt erfasst werden. Gemini XML und ChatGPT XML erreichen dagegen 0 %, weil die Inhalte komplett fehlen.

Auffällig ist, dass die reine Texterkennung bei den meisten Tools stabil funktioniert. Die eigentliche Schwierigkeit liegt nicht im Inhalt, sondern in der Übernahme der visuellen und semantischen Struktur. Besonders deutlich wird dies bei Octopus, Mistral, Gemini Markdown und Poppler/Pandoc: Der Text wird korrekt ausgegeben, die ursprüngliche Funktion der Textbox geht jedoch verloren. Dadurch erscheint der Inhalt im Ergebnis wie normaler Fließtext oder höchstens als einfach abgesetzter Abschnitt. Für eine Weiterverarbeitung kann das problematisch sein, weil nicht mehr eindeutig erkennbar ist, dass es sich im Ausgangsdokument um hervorgehobene oder gerahmte Inhalte handelte.

OpenDataLoader stellt einen Sonderfall dar. Der Inhalt wird ebenfalls korrekt erfasst, und eine der Boxen wird tabellenähnlich wiedergegeben. Trotzdem wird die Textbox nicht wirklich als Textbox erkannt, sondern nur in eine andere Struktur überführt. Das kann zwar visuell eine gewisse Abgrenzung erzeugen, bildet aber die ursprüngliche Dokumentstruktur nicht zuverlässig ab.

Am besten schneidet ChatGPT Markdown ab. Hier werden sowohl der Inhalt als auch die Boxen bzw. Rahmen erkannt. Die Ausgabe verwendet HTML-Strukturen mit Angaben zu Hintergrundfarbe, Rahmen, Innenabstand und Abstand zum umgebenden Text. Dadurch bleibt nicht nur der Text erhalten, sondern auch die gestalterische Funktion der Textboxen. Für Anwendungen, bei denen hervorgehobene Inhalte, Infokästen oder gerahmte Abschnitte später gezielt erkannt oder verarbeitet werden sollen, ist dieses Ergebnis besonders relevant.

Die XML-basierten Ausgaben von Gemini XML und ChatGPT XML fallen dagegen deutlich durch. Da die Inhalte dort nicht vorhanden sind, gehen sowohl der eigentliche Text als auch die Struktur vollständig verloren. Für strukturorientierte Workflows, etwa für RAG-Systeme oder XML-basierte Weiterverarbeitung, ist dies besonders kritisch, weil ein kompletter Dokumentbestandteil fehlt.

Für das Kapitel „Literaturverzeichnis“ zeigt die Auswertung deutliche Unterschiede zwischen den getesteten Konvertierungstools. Bewertet wurde, ob die Inhalte des Literaturverzeichnisses korrekt übernommen wurden, ob die einzelnen Einträge sauber voneinander getrennt erfasst wurden und ob die Literaturangaben semantisch als bibliografische Einträge ausgezeichnet wurden. Die volle Punktzahl lag bei 300 Punkten.

Tool-Abkürzungen im Tabellenkopf: siehe Legende im Kapitel „Kurzbeschreibung dieser Studie“.

In der Ergebnisübersicht erreichen Octopus, Mistral, Gemini Markdown, Poppler/Pandoc und ChatGPT Markdown jeweils 200 Punkte und damit 67%. Diese Tools übernehmen den Inhalt des Literaturverzeichnisses korrekt und trennen die einzelnen Einträge sauber voneinander. OpenDataLoader kommt auf 100 Punkte bzw. 33 %, weil zwar der Text erkannt wird, die Einträge aber nicht zuverlässig getrennt werden. Gemini XML erreicht mit 240 Punkten bzw. 80 % das beste Gesamtergebnis, da mehrere Literaturangaben semantisch mit bibliografischen XML-Tags ausgezeichnet werden. ChatGPT XML erzielt mit 50 Punkten bzw. 17 % das schwächste Ergebnis, weil nur ein kleiner Teil der Literaturangaben erkannt und strukturiert wurde.

Auffällig ist zunächst, dass die meisten Tools den sichtbaren Text des Literaturverzeichnisses gut erfassen. Octopus, Mistral, Poppler/Pandoc und ChatGPT Markdown übernehmen die Literaturangaben weitgehend vollständig und geben sie als einzelne Absätze aus. Gemini Markdown geht noch einen Schritt weiter und zeichnet die Einträge als ungeordnete Liste aus. Für eine einfache Weiterverarbeitung ist diese Trennung hilfreich, weil die einzelnen Quellen dadurch besser als separate Einheiten behandelt werden können. Gleichzeitig bleibt die Struktur aber überwiegend formal: Die Tools erkennen zwar, wo ein Eintrag beginnt und endet, unterscheiden aber nicht semantisch zwischen Autor, Titel, Verlag, Erscheinungsort, Erscheinungsjahr oder Seitenangaben.

Besonders interessant ist der Vergleich zwischen Gemini XML und ChatGPT XML. Gemini XML zeigt die stärkste semantische Verarbeitung, weil die ersten drei sowie der fünfte Literaturverzeichniseintrag mit bibliografischen Strukturelementen wie Autor, Titel, Verlag, Ort und Datum ausgezeichnet werden. Allerdings fehlt der vierte Eintrag vollständig, wodurch trotz guter semantischer Qualität ein deutlicher Inhaltsverlust entsteht. ChatGPT XML ist noch problematischer: Hier werden nur zwei Einträge erfasst, und diese auch nur teilweise vollständig ausgezeichnet. Dadurch eignet sich das Ergebnis nur eingeschränkt für eine zuverlässige bibliografische Weiterverarbeitung.

OpenDataLoader bildet einen weiteren auffälligen Fall. Der Inhalt wird grundsätzlich erkannt, aber mehrere Literaturangaben werden in einem Fließtext zusammengezogen. Dadurch ist die Trennung der Einträge nicht sauber möglich. Zusätzlich wird beim letzten Eintrag die Seitenangabe fehlerhaft wiedergegeben. Für Retrieval oder automatische Metadatenextraktion ist das ungünstig, weil einzelne Quellen nicht stabil isoliert und ausgewertet werden können.

Insgesamt zeigt die Auswertung, dass die reine Texterkennung des Literaturverzeichnisses bei vielen Tools funktioniert. Die größte Schwäche liegt jedoch in der semantischen Tiefe. Für strukturierte XML-Workflows ist Gemini XML am vielversprechendsten, weil es bibliografische Bestandteile gezielt auszeichnet. Gleichzeitig zeigt der fehlende (vierte) Eintrag beim Beispiel Gemini XML, dass semantisch reichere Konvertierungen besonders sorgfältig kontrolliert werden müssen, da Fehler hier nicht nur die Darstellung, sondern auch die Vollständigkeit und Zitierfähigkeit der Daten betreffen.

Im Kapitel „Index“ wurde geprüft, ob die Konvertierungstools die Index-Einträge vollständig erfassen, die einzelnen Einträge sauber voneinander trennen und zusätzlich die Verweise auf die entsprechenden Stellen im Inhaltsteil erhalten. Gerade für die Weiterverarbeitung in strukturierten Formaten ist der Index wichtig, weil er nicht nur Begriffe sammelt, sondern auch als kuratierte Zugriffsebene auf zentrale Inhalte dienen kann. Wenn Stichworte, Seitenzahlen oder Verweise verloren gehen, ist der Index zwar teilweise lesbar, aber nicht mehr zuverlässig nutzbar.

Tool-Abkürzungen im Tabellenkopf: siehe Legende im Kapitel „Kurzbeschreibung dieser Studie“

Die Auswertung dieses Kapitels zeigt für die meisten Tools ähnliche Ergebnisse. Octopus, Mistral, Gemini Markdown, Poppler/Pandoc und ChatGPT Markdown erreichen jeweils 200 von 300 Punkten und damit 67 %. OpenDataLoader liegt mit 160 Punkten bei 53 %. Gemini XML erreicht 125 Punkte und damit 42 %. ChatGPT XML schneidet mit 0 Punkten am schwächsten ab. Die besten Ergebnisse liefern also vor allem die Markdown-Konvertierungen, während die XML-Ausgaben deutliche Verluste zeigen.

Auffällig ist, dass fast alle Tools den Index-Inhalt grundsätzlich erkennen können. Bei Octopus, Mistral, Gemini Markdown, Poppler/Pandoc, ChatGPT Markdown und OpenDataLoader wurden die Stichworte und Seitenzahlen vollständig und korrekt übernommen. Nur Gemini XML erreicht hier lediglich 25 Punkte, während ChatGPT XML den Inhalt gar nicht erfasst. Das zeigt, dass die reine Texterkennung bei den meisten Tools funktioniert, die strukturierte Auszeichnung aber deutlich fehleranfälliger ist.

Ein zweiter Unterschied zeigt sich bei der Trennung der Einträge. Octopus, Mistral, Gemini Markdown, Poppler/Pandoc, ChatGPT Markdown und Gemini XML trennen die Index-Einträge sauber. OpenDataLoader erreicht hier nur 60 Punkte, weil die Einträge teilweise zusammengezogen oder nicht eindeutig voneinander abgegrenzt werden.

Die größte Schwäche betrifft jedoch die Referenzierung an die jeweilige Stelle im Inhaltsteil. In diesem Kriterium erhalten alle Tools 0 Punkte. Das bedeutet, dass zwar bei mehreren Tools die Indexbegriffe und Seitenzahlen sichtbar bleiben, die eigentliche Verknüpfungsfunktion des Index aber verloren geht. Für eine einfache Lesefassung ist das teilweise ausreichend. Für eine strukturierte Weiterverarbeitung, etwa in XML, für Navigation, Retrieval oder semantische Verweise, ist dieser Verlust jedoch problematisch.

Insgesamt zeigt die Auswertung, dass der Index von mehreren Tools oberflächlich gut erkannt wird, aber seine funktionale Struktur kaum erhalten bleibt. Die besten Ergebnisse liefern die Tools, die Inhalt und Eintragstrennung stabil übernehmen. Eine wirklich vollständige Indexkonvertierung müsste jedoch zusätzlich die Verbindung zwischen Index-Eintrag und Zielstelle im Dokument erhalten. Genau dieser Punkt wird von keinem der getesteten Tools erfüllt.