7 Aufbau des Testdokuments

Im ersten Kapitel dieser Testsuite wird geprüft, ob die ausgewählten Konverter in der Lage sind, Kapitelgrenzen und Überschriftenebenen zuverlässig zu erkennen und korrekt zuzuordnen. Denn dies ist eine Kernvoraussetzung für hierarchisches Chunking in RAG-Pipelines. In strukturbasierten Chunking-Strategien werden zunächst große Einheiten gebildet, typischerweise Kapitel oder Unterkapitel, und erst danach innerhalb dieser Einheiten weiter segmentiert, etwa nach Absätzen oder Sätzen. Dafür müssen Überschriften als Ankerpunkte verfügbar sein. Werden sie nicht erkannt, kann die Pipeline nicht sicher entscheiden, wo ein Abschnitt beginnt und endet. Dies verhindert sauberes, reproduzierbares Chunking nach Kapiteln.

Ein zentrales Ziel von RAG besteht darin, bei einer Suchanfrage genau diejenigen Dokumentabschnitte zu finden, die den benötigten Kontext enthalten. Überschriften leisten hierfür einen wesentlichen Beitrag, da sie die thematische Einordnung eines Abschnitts bereits vor dem eigentlichen Inhalt beschreiben. Sie fungieren als semantische Labels, die einem Retrieval-System helfen, Inhalte schneller und präziser zuzuordnen. Werden Überschriften korrekt erkannt und als strukturelle Metadaten erhalten, können Chunks nicht nur anhand ihres Textinhalts, sondern auch anhand ihrer Position innerhalb der Dokumenthierarchie bewertet werden. Eine Suchanfrage nach einem bestimmten Thema kann dadurch gezielt auf die relevanten Kapitel oder Unterkapitel gelenkt werden. Dies erhöht die Wahrscheinlichkeit, dass tatsächlich passende Textabschnitte gefunden werden und reduziert gleichzeitig die Anzahl irrelevanter Treffer.

Wenn Überschriftenebenen fehlen oder falsch erkannt werden, können Chunks nicht entlang der logischen Dokumentgliederung erzeugt werden. Dann entstehen entweder willkürliche Schnitte oder überlange Chunks, die thematisch mehrere Abschnitte vermischen. Beides verschlechtert sowohl Retrieval als auch Antwortqualität, weil der Kontext, den ein Chunk repräsentiert, unscharf wird.

Dieses Kapitel befasst sich auch mit der Erkennung und Interpretation von Seitenelementen, die nicht zum eigentlichen Fließtext gehören, aber dennoch eine zentrale Rolle für die Dokumentlogik spielen. Dazu zählen insbesondere Seitennummerierungen, lebende Kolumnentitel und der übergeordnete Dokumentaufbau. Für RAG-Systeme ist die korrekte Behandlung dieser Elemente entscheidend, da sie einerseits nicht als inhaltlicher Text verarbeitet werden dürfen, andererseits aber wichtige Struktur- und Umbruchinformationen liefern, die für eine korrekte Kontextzuordnung, Referenzierbarkeit und Zitierfähigkeit notwendig sind.

Bei lebenden Kolumnentiteln handelt es sich um wiederkehrende Kopfzeilen, die auf jeder Seite oder auf jeder Doppelseite erscheinen und typischerweise den Dokumenttitel, den Kapitelnamen oder eine Kombination aus beiden enthalten. Diese Informationen dienen lediglich der besseren Orientierung für menschliche Leser und stellen keine eigenständigen Inhalte dar. Wenn lebende Kolumnentitel beim Parsing als regulärer Text interpretiert werden, entstehen künstliche Wiederholungen, die die inhaltliche Struktur verzerren. Bei RAG-Systemen kann dies zu fehlerhaftem Retrieval führen, wenn häufig wiederholte Überschriften fälschlicherweise als besonders relevante Textstellen gewertet werden. In diesem Kapitel wird geprüft, ob Kolumnentitel als solche erkannt und konsequent aus dem Fließtext entfernt werden, ohne dass dabei die eigentliche Dokumentstruktur verloren geht.

Eng damit verbunden ist der Umgang mit der Seitennummerierung in einem Dokument. Auch Seitennummern sind keine inhaltlichen Bestandteile des Textes, sondern fungieren als Meta-Elemente des Layouts. Sie dürfen nicht in den extrahierten Text übernommen werden, da sie dort semantisch bedeutungslos oder sogar störend sind. Seitennummern sind umbruchtragend, denn sie markieren den Übergang von einer Seite zur nächsten und liefern damit wichtige Informationen über die physische Struktur des Dokuments. Diese Informationen müssen getrennt vom Textinhalt erfasst werden, um eine saubere Weiterverarbeitung zu gewährleisten.

In diesem Zusammenhang ist der Unterschied zwischen Pagina und PDF-Seitennummer in Dokumenten besonders relevant. Die Pagina bezeichnet die im Dokument sichtbare Seitenzählung, also die Nummer, die auf der Seite abgedruckt ist. Diese beginnt in wissenschaftlichen Publikationen häufig nicht auf der ersten Seite, sondern erst nach dem Titelblatt, Vorwort oder Inhaltsverzeichnis. Zudem können unterschiedliche Nummerierungsformen verwendet werden, etwa römische Ziffern für den Vorspann und arabische Ziffern für den Hauptteil. Die PDF-Seitennummer ist hingegen eine technische Zählung, die jede Seite des PDF-Dokuments eindeutig durchnummeriert, beginnend mit der ersten physischen Seite der Datei.

Da diese Nummerierungen häufig nicht miteinander übereinstimmen, ist deren Unterscheidung für eine wissenschaftliche Zitierfähigkeit essenziell. Zitate beziehen sich in der Regel auf die Pagina, nicht auf die interne PDF-Seitennummer. Ein System, das diese Ebenen nicht unterscheiden kann, ist nicht in der Lage, korrekte Seitenangaben zu erzeugen oder Textstellen eindeutig zu referenzieren. In diesem Kapitel wird geprüft, ob sowohl die PDF-Seitennummer als auch die Pagina erkannt und getrennt erfasst werden können, ohne dass sie in den eigentlichen Textfluss integriert werden.

Der Testaufbau sieht vor, dass das Dokument durchgängig mit lebenden Kolumnentiteln arbeitet. Diese enthalten den jeweiligen Kapitelnamen und wechseln entsprechend der Dokumentstruktur. Zusätzlich wird eine Seitennummerierung verwendet, die bewusst nicht auf der ersten Seite beginnt. Die Nummerierung setzt erst nach dem Inhaltsverzeichnis ein und wird über Abschnittswechsel realisiert. Dadurch lassen sich realistische Szenarien wissenschaftlicher Publikationen abbilden, in denen unterschiedliche Nummerierungslogiken innerhalb eines Dokuments existieren.

Insgesamt prüft dieses Kapitel, ob die unterschiedlichen Werkzeuge in der Lage sind, Seitenlayout und Dokumentlogik voneinander zu trennen. Inhaltlicher Text, strukturelle Meta-Elemente und Umbruchinformationen müssen sauber differenziert erfasst werden. Die Ergebnisse dieses Testteils sind entscheidend für die Bewertung, ob ein System für anspruchsvolle RAG-Workflows geeignet ist, bei denen Zitierfähigkeit, Referenzierbarkeit und strukturelle Integrität eine zentrale Rolle spielen.

Das zweite Kapitel des Testdokuments widmet sich der Erkennung, Erhaltung und strukturellen Interpretation von typografischen Auszeichnungen im Fließtext. Im Unterschied zu rein visuellen Aspekten wird Typografie hier als funktionales Element verstanden, das semantische, strukturelle und referenzielle Informationen transportieren kann. Für RAG-Systeme ist diese Ebene der Textinformation besonders relevant, da sie Einfluss auf Chunking, Retrieval und die spätere Antwortgenerierung hat. Ziel dieses Testteils ist es, systematisch zu untersuchen, in welchem Umfang die ausgewählten Werkzeuge typografische Informationen zuverlässig erfassen und über Transformationsschritte hinweg verfügbar halten.

In vielen wissenschaftlichen, technischen und juristischen Dokumenten werden typografische Mittel bewusst eingesetzt, um Bedeutung zu markieren. Kursiv gesetzte Begriffe dienen häufig der Kennzeichnung von Zitaten, fremdsprachigen Ausdrücken oder terminologisch eingeführten Konzepten. Fett gesetzter Text hebt zentrale Begriffe, Namen oder normative Aussagen hervor. Unterstreichungen können zusätzliche Akzentuierungen oder redaktionelle Markierungen darstellen. Diese Auszeichnungen sind in der Regel nicht zufällig verteilt, sondern folgen impliziten oder expliziten Konventionen des jeweiligen Dokumententyps. Wird diese Typografie bei der Dokumenttransformation ignoriert oder vereinfacht, geht ein Teil der semantischen Struktur verloren, der für eine präzise maschinelle Weiterverarbeitung relevant sein kann.

Für das Chunking in RAG-Systemen spielt die Typografie eine indirekte, aber wichtige Rolle. Auch wenn Chunks primär entlang struktureller Grenzen wie z. B. Kapitel oder Absätze gebildet werden, können typografisch hervorgehobene Textteile innerhalb eines Chunks als semantische Schwerpunkte fungieren. Ein Chunk, der einen fett hervorgehobenen Schlüsselbegriff enthält, repräsentiert thematisch etwas anderes als ein formal gleich langer Chunk ohne solche Markierungen. Wenn diese Informationen erhalten bleiben, können sie bei der Gewichtung von Chunks im Retrieval berücksichtigt oder für nachgelagerte Annotationsschritte genutzt werden.

Besondere Aufmerksamkeit gilt in diesem Kapitel der Erkennung von Hoch- und Tiefstellungen. Diese Textauszeichnungen sind viel mehr als nur verkleinerte Standardzeichen, denn sie verändern in vielen Fällen die Bedeutung eines bestimmten Ausdruckes grundlegend. Chemische Formeln wie H₂O, physikalische Einheiten wie Quadratkilometer oder mathematische Potenzen sind ohne korrekte Hoch- oder Tiefstellung semantisch verfälscht. Wird eine Tiefstellung zu einer linearen Zeichenfolge aufgelöst oder vollständig ignoriert, entsteht ein Text, der zwar lesbar erscheint, inhaltlich jedoch falsch ist. Für RAG-Systeme bedeutet dies, dass sowohl Retrieval als auch die Antwortgenerierung auf fehlerhaften Informationen basieren können.

Darüber hinaus haben Hochstellungen eine weitere Funktion, die vor allem für wissenschaftliche Texte von großer Bedeutung ist: Sie dienen häufig als Referenzzeichen für Fußnoten. Fußnotenziffern oder -symbole werden typischerweise hochgestellt im Fließtext platziert und verweisen auf erläuternde oder belegende Inhalte außerhalb des unmittelbaren Satzkontexts. Diese Referenzbeziehung stellt eine explizite semantische Verbindung zwischen zwei räumlich getrennten Textstellen her. Wird die Hochstellung nicht erkannt oder nicht als Referenz interpretiert, geht diese Verbindung verloren. Der Fließtext erscheint dann isoliert, während die Fußnote ihren Anker verliert.

Für RAG-Systeme ist diese Referenzstruktur von hoher Relevanz. Fußnoten enthalten häufig Quellenangaben, Definitionen, Einschränkungen oder ergänzende Argumente, die für das Verständnis einer Aussage entscheidend sind. Wenn Fußnoten korrekt erkannt und ihrer jeweiligen Referenzstelle zugeordnet werden können, ermöglicht dies verschiedene Verarbeitungsstrategien. Fußnoten können z.B. in den gleichen Chunk integriert werden, als separate Chunks mit Referenzbeziehung abgelegt oder kontextabhängig beim Retrieval berücksichtigt werden. Voraussetzung für all diese Ansätze ist jedoch, dass die hochgestellten Fußnotenzeichen als solche identifizierbar bleiben.

Der Testaufbau dieses Kapitels trägt diesen Anforderungen Rechnung, indem sämtliche relevanten Textauszeichnungen systematisch im Fließtext eingesetzt werden. Dazu zählen fett, kursiv, unterstrichen, durchgestrichen, hochgestellt und tiefgestellt. Zusätzlich werden kombinierte Auszeichnungen verwendet, etwa fett und kursiv oder fett, unterstrichen und kursiv. Alle diese Formatierungen sind Teil vollständiger Sätze und treten mitten im Text auf, nicht isoliert oder listenartig. Dadurch wird geprüft, ob die Systeme in der Lage sind, komplexe Inline-Formatierungen im syntaktischen und semantischen Kontext korrekt zu erfassen.

Dieses Kapitel dient der gezielten Prüfung der Zeichenintegrität bei der Texterkennung und Dokumenttransformation. Unabhängig davon, ob ein System direkt aus digitalen PDFs extrahiert oder auf OCR-Verfahren zurückgreift, stellt die korrekte Erkennung einzelner Zeichen eine grundlegende Voraussetzung für jede weiterführende semantische Verarbeitung dar. Bereits geringe Fehler auf Zeichenebene können zu erheblichen inhaltlichen Verfälschungen führen, die sich in nachgelagerten RAG-Workflows potenzieren.

In diesem Kapitel wird systematisch untersucht, wie robust die unterschiedlichen Werkzeuge gegenüber typografischen und font-bedingten Problemen sind. Der Testteil enthält zahlreiche Sonderzeichen wie §, =, &, #, $, €, ©, ®, @ sowie typografische Anführungszeichen. Zusätzlich kommen Bruchzeichen wie ¼, ½ und ¾ vor, die für viele Tools besonders fehleranfällig sind. Mit dem Sicherheitscode „739#46215$8€3*“ wird zudem überprüft, ob die Tools eine längere Abfolge verschiedener Zahlen und Sonderzeichen vollständig und korrekt übernehmen.

Ein bekanntes Problem in der automatischen Texterkennung ist die Verwechslung visuell ähnlicher Zeichen. Je nach Schriftart, Schriftschnitt und Darstellungsqualität können bestimmte Buchstaben und Ziffern kaum voneinander unterscheidbar sein. Besonders kritisch ist dabei die Ziffer 1, die häufig mit dem Großbuchstaben I, dem Buchstaben T oder in manchen Schriftarten sogar mit einem J verwechselt wird. Solche Fehlzuordnungen stellen nicht nur ein orthografisches Problem dar, sondern haben unmittelbare semantische Auswirkungen. Zahlenwerte, Kennziffern, Paragraphenangaben oder technische Bezeichnungen können dadurch unbrauchbar oder falsch interpretiert werden. Die Zeichen 1, I und T treten in diesem Testteil mehrfach auf, um typische Verwechslungsfälle sichtbar zu machen.

Für RAG-Systeme ist eine korrekte Zeichenebene von zentraler Bedeutung. Retrieval-Mechanismen arbeiten häufig zeichen- und tokenbasiert. Bereits eine einzelne falsche Erkennung kann dazu führen, dass relevante Textstellen nicht gefunden oder falsch zugeordnet werden. Besonders problematisch ist dies bei Identifikatoren, Formeln, Normbezeichnungen oder Referenznummern. Ziel dieses Testteils ist es daher, zu prüfen, ob Systeme auch unter erschwerten typografischen Bedingungen eine stabile und konsistente Zeichenerkennung gewährleisten.

Der Testaufbau dieses Kapitels verwendet bewusst einen fiktiven, inhaltlich sinnlosen Text. Dadurch sollte das Risiko reduziert werden, dass Sprachmodelle kontextgestützte Korrekturen vornehmen. Der Fokus liegt ausschließlich auf der technischen Genauigkeit der Zeichenextraktion. Der Text enthält möglichst viele der auf einer Standardtastatur verfügbaren Zeichen, darunter Buchstaben, Zahlen, Sonderzeichen und Satzzeichen. Auf diese Weise lassen sich auch seltene oder typografisch komplexe Zeichen systematisch überprüfen.

Um unterschiedliche Schriftarten abzubilden, wird ein und derselbe Text in diesem Kapitel mehrfach wiederholt. Es kommen jeweils zwei bis drei Monospace-Schriften, Serifenschriften und serifenlose Schriften zum Einsatz. Jede dieser Schriftarten erscheint zusätzlich in verschiedenen Schriftschnitten: einmal Standard, einmal kursiv und einmal fettgedruckt. Dadurch wird nicht nur die Texterkennung selbst geprüft, sondern auch, ob die Tools Schriftartwechsel, Fett- und Kursivauszeichnungen sowie Absatz- und Zeilenstrukturen korrekt erfassen. Das Kapitel eignet sich deshalb besonders gut, um Unterschiede zwischen reiner Inhaltserkennung und typografisch genauer Konvertierung sichtbar zu machen.

Durch diese Kombination entsteht ein kontrolliertes Testszenario, das typische Problemfälle der Zeichen- und Schrifterkennung abbildet. Die Ergebnisse dieses Kapitels erlauben eine differenzierte Bewertung, ob ein System robust gegenüber font-abhängigen Variationen ist oder ob es zu systematischen Verfälschungen kommt. Für die Gesamtbewertung der Eignung eines Werkzeugs in RAG-Workflows ist dieser Testteil von hoher Bedeutung, da Zeichenfehler die Grundlage aller weiteren Verarbeitungsschritte unterminieren können.

Dieses Kapitel untersucht die Fähigkeit von Konvertern, mehrspaltige Layouts korrekt zu erkennen und in eine logisch zusammenhängende Textreihenfolge zu überführen. Mehrspaltige Dokumente sind insbesondere in wissenschaftlichen Publikationen und technischen Handbüchern weit verbreitet. Für Menschen ist die Leserichtung solcher Layouts intuitiv nachvollziehbar, für automatische Dokumentanalysen stellt sie jedoch eine erhebliche Herausforderung dar.

Für RAG-Systeme ist die korrekte Rekonstruktion der Lesereihenfolge von zentraler Bedeutung. Werden Spalteninhalte falsch zusammengeführt, entstehen Textfragmente mit vertauschten Satzteilen oder Absätzen. Dadurch können Chunks inhaltlich unverständlich werden und Retrieval-Ergebnisse erheblich an Qualität verlieren. Besonders problematisch ist dies bei semantischem oder hierarchischem Chunking, da die eigentliche Dokumentstruktur durch fehlerhafte Spaltenzusammenführungen zerstört wird.

Der Testaufbau dieses Kapitels verwendet einen längeren Fließtext, der auf drei Spalten verteilt wird. Die Inhalte laufen dabei spaltenweise fort und bilden nur dann einen kohärenten Text, wenn die Leserichtung korrekt erkannt wird. Anhand dieses Beispiels wird geprüft, ob die untersuchten Werkzeuge mehrspaltige Layouts zuverlässig analysieren und die Inhalte in der richtigen Reihenfolge extrahieren können. Zudem wird untersucht, ob Layout-Artefakte wie Spaltenumbrüche, Zeilenumbrüche oder Silbentrennungen in die Ausgabe übernommen werden oder die Absatzstruktur verloren geht.

Dieses Kapitel befasst sich mit der Erkennung und strukturellen Auflösung referenzierter Inhalte, die nicht Teil des unmittelbaren Fließtextes sind, aber essenzielle Zusatzinformationen enthalten. Dazu zählen Fußnoten, Endnoten, Literaturverweise und Literaturverzeichnisse. In wissenschaftlichen Dokumenten bilden diese Elemente ein eigenes Verweissystem, das Aussagen im Text kontextualisiert, belegt oder ergänzt. Für RAG-Systeme ist die korrekte Erfassung dieser Referenzstrukturen eine entscheidende Voraussetzung, um Quellenbezüge nachvollziehbar zu machen und wissenschaftlich belastbare Antworten zu erzeugen.

Fußnoten stellen für RAG-Systeme eine besondere Herausforderung dar, da sie räumlich vom referenzierenden Text getrennt sind, semantisch jedoch eng mit ihm verbunden bleiben. Im Fließtext erscheinen sie in der Regel nur als hochgestellte Ziffern oder Symbole, während der eigentliche Inhalt der Fußnote am Seitenende platziert ist. Diese optische Trennung darf bei der automatischen Verarbeitung nicht zu einer inhaltlichen Entkopplung führen. Wird eine Fußnote isoliert extrahiert, ohne ihre Referenzstelle im Text zu kennen, verliert sie ihren Kontext. Umgekehrt ist ein Fließtext ohne zugeordnete Fußnoten inhaltlich unvollständig. Deshalb wird in diesem Testteil geprüft, ob die genannten Referenzbeziehungen korrekt erkannt und strukturell abgebildet werden können.

Ähnliche Anforderungen gelten für Endnoten. Im Unterschied zu Fußnoten werden Endnoten nicht seitenweise, sondern gesammelt am Ende eines Kapitels oder am Ende des gesamten Dokuments aufgeführt. Ihre Referenzzeichen im Fließtext funktionieren analog zu Fußnoten, die räumliche Distanz zwischen Referenz und Inhalt ist jedoch deutlich größer. Für RAG-Systeme erhöht dies die Komplexität, da Endnoten über größere Textbereiche hinweg eindeutig zugeordnet werden müssen. Dieser Test prüft, ob Endnoten zuverlässig erkannt, korrekt referenziert und nicht fälschlicherweise als eigenständiger Fließtext interpretiert werden.

Eine besondere Bedeutung kommt auch dem Literaturverzeichnis zu. Literaturangaben sind strukturierte Datensätze, die aus mehreren klar definierten Komponenten bestehen, wie Autor, Titel, Erscheinungsjahr, Verlag oder Quelle. Für RAG-Systeme ist ein korrekt erfasstes Literaturverzeichnis eine entscheidende Voraussetzung, um Literatur gezielt abfragen, zitieren oder mit inhaltlichen Aussagen verknüpfen zu können. Wird ein Literaturverzeichnis lediglich als unstrukturierter Textblock erfasst, sind solche Abfragen kaum oder nur sehr unzuverlässig möglich.

Der Testteil dieses Kapitels überprüft daher nicht nur, ob ein Literaturverzeichnis als solches erkannt wird, sondern auch, ob die einzelnen Einträge sauber voneinander getrennt und ihre Bestandteile identifizierbar sind. Die Literaturangaben orientieren sich dabei an gängigen wissenschaftlichen Zitierstilen und enthalten jeweils mindestens Autor, Titel, Jahr sowie Verlag oder Quelle. Durch diese formale Korrektheit lässt sich prüfen, ob Systeme in der Lage sind, typische Muster wissenschaftlicher Referenzen zu erkennen und strukturell zu erfassen.

Für das Chunking in RAG-Workflows ergeben sich im Hinblick auf referenzierte Inhalte besondere Anforderungen. Fußnoten und Endnoten dürfen nicht unkontrolliert in reguläre Textchunks einfließen, da sie sonst den thematischen Fokus eines Chunks verfälschen können. Gleichzeitig müssen sie jedoch für Retrieval verfügbar bleiben, idealerweise in einer Form, die ihre Referenzbeziehung zum Fließtext abbildet. Ähnliches gilt für Literaturverzeichnisse, die häufig als eigenständige Chunks behandelt werden sollten, um gezielte Literaturabfragen zu ermöglichen.

Der Testaufbau dieser Studie sieht deshalb ein eigenes Kapitel vor, das alle relevanten Verweissysteme enthält: Fußnoten im Fließtext, Endnoten im Fließtext, die gesammelt am Dokumentende erscheinen, Literaturverweise im Fließtext und ein separat aufgeführtes Literaturverzeichnis mit vier bis fünf formal korrekten Einträgen am Ende des Dokuments. Insgesamt dient dieses Kapitel dazu, die Fähigkeit der untersuchten Werkzeuge zu bewerten, referenzierte Inhalte nicht nur zu erkennen, sondern diese auch als integralen Bestandteil der Dokumentlogik für RAG-Systeme nutzbar zu machen.

Dieses Kapitel widmet sich der Prüfung der Mehrsprachigkeitsfähigkeit bei der Texterkennung und Dokumentverarbeitung. In vielen wissenschaftlichen, kulturellen und technischen Kontexten enthalten Dokumente nicht ausschließlich lateinische Schrift, sondern integrieren Textpassagen in anderen Schriftsystemen. Für RAG-Systeme ist es entscheidend, dass solche Inhalte nicht verloren gehen oder verfälscht werden.

Ziel dieses Kapitels ist es daher, zu untersuchen, wie zuverlässig unterschiedliche Werkzeuge mit nicht lateinischen Schriftsystemen umgehen. Ein besonderer Fokus liegt auf Schriften, die sich in ihrer Struktur und Schreibrichtung deutlich von lateinischen Alphabeten unterscheiden. Hebräische und arabische Texte werden von rechts nach links geschrieben und besitzen eigene typografische und linguistische Eigenschaften. Systeme, die primär für lateinische Schrift optimiert sind, haben hier häufig Schwierigkeiten, etwa bei der korrekten Zeichenreihenfolge, der Wortsegmentierung oder der Darstellung in linearem Text. Dieser Test prüft, ob solche Texte korrekt erkannt, in der richtigen Leserichtung ausgegeben und als zusammenhängender Text erhalten bleiben.

Für RAG-Systeme hat die korrekte Erkennung mehrsprachiger Inhalte direkte Auswirkungen auf Retrieval und Antwortgenerierung. Wenn Textpassagen in anderen Sprachen nicht korrekt erfasst werden, sind sie weder durchsuchbar noch zitierfähig. Darüber hinaus können fehlerhafte Zeichenkodierungen oder falsche Leserichtungen dazu führen, dass Inhalte zwar technisch vorhanden sind, praktisch jedoch unbrauchbar bleiben. Ziel dieses Kapitels ist es daher zu prüfen, ob nicht lateinische Texte gleichwertig zu lateinischem Text behandelt werden.

Der Testaufbau sieht ein eigenes Kapitel vor, das ausschließlich der Mehrsprachigkeit gewidmet ist. Ein kurzer deutscher Textabschnitt wird jeweils mit hebräischer, arabischer, griechischer und chinesischer Schrift wiederholt. Der Abschnitt ist bewusst kurzgehalten, um den Fokus auf die korrekte Zeichen- und Richtungserkennung zu legen. Es handelt sich dabei um echten Text und nicht um eingebettete Bilder. Dadurch soll sichergestellt werden, dass die Erkennung über reguläre Textverarbeitung und nicht über Bildanalyse erfolgt.

Insgesamt untersucht dieses Kapitel, ob Systeme in der Lage sind, Mehrsprachigkeit als integralen Bestandteil eines Dokuments zu verarbeiten. Die Ergebnisse liefern wichtige Hinweise darauf, ob ein Werkzeug für den Einsatz in internationalen, interdisziplinären oder kulturübergreifenden RAG-Workflows geeignet ist, bei denen unterschiedliche Schriftsysteme selbstverständlich nebeneinander auftreten.

Dieses Kapitel untersucht die Erkennung, Referenzierung und inhaltliche Erschließung von Bildern und grafischen Elementen. In vielen wissenschaftlichen und technischen Dokumenten sind Bilder nicht nur reine Illustrationen, sondern fungieren als eigenständige Informationsträger. Sie enthalten strukturierte Inhalte, Erläuterungen oder sogar vollständige Datendarstellungen, die für das Verständnis des Textes zentral sind. Für RAG-Systeme ist es daher entscheidend, dass Bilder als eigenständige Objekte erkannt, korrekt referenziert und inhaltlich erschlossen werden können.

Ein grundlegender Aspekt dieses Testteils ist die eindeutige Identifikation von Bildern als nicht-textuelle Elemente. Bilder dürfen nicht als dekorativer Bestandteil des Layouts behandelt oder vollständig ignoriert werden. Sie müssen als eigenständige Dokumentobjekte erfasst werden, die über Metadaten referenzierbar sind. Diese Referenzierbarkeit ist wichtig, da Bilder in RAG-Workflows als Quellen herangezogen werden können. Ein System muss in der Lage sein, auf ein konkretes Bild zu verweisen, etwa um es in einer Antwort darzustellen, darauf zu verlinken oder es als Beleg für eine Aussage zu nutzen.

Darüber hinaus enthalten viele Bilder Textinformationen, die für Suche und Retrieval relevant sind. Beschriftungen, Achsentitel, Legenden oder erklärende Texte innerhalb einer Grafik transportieren häufig zentrale Inhalte, die im Fließtext nicht wiederholt werden. Wird dieser Text nicht erkannt, bleibt ein wesentlicher Teil der Information für das RAG-System unsichtbar. Ziel dieses Kapitels ist, zu prüfen, ob eingebetteter Text in Bildern zuverlässig erkannt und für die Durchsuchung verfügbar gemacht werden kann.

Eine besondere Herausforderung stellen Bilder dar, die komplexe Strukturen enthalten. Dazu gehören etwa Tabellen, Diagramme oder schematische Darstellungen mit klaren relationalen Informationen. Befindet sich beispielsweise eine Tabelle innerhalb eines Bildes, reicht es nicht aus, den Bildtext linear zu extrahieren. Idealerweise sollte die Tabelle als solche erkannt und strukturell erfasst werden, damit ihre Inhalte korrekt interpretiert und abgefragt werden können. Dieser Test prüft, ob Systeme in der Lage sind, zwischen rein dekorativen Grafiken und inhaltlich strukturierten Bildobjekten zu unterscheiden.

Ein weiterer Aspekt ist die Nutzung von Alternativtexten. Alternativtexte werden häufig bewusst von Autorinnen und Autoren vergeben, um Bilder inhaltlich zu beschreiben, etwa aus Gründen der Barrierefreiheit oder der Suchmaschinenoptimierung. Diese Texte enthalten oft verdichtete Zusammenfassungen oder konzeptionelle Einordnungen der dargestellten Inhalte. Wenn ein Alternativtext vorhanden ist, sollte er daher unbedingt erfasst und in die semantische Repräsentation des Bildes integriert werden. Für RAG-Systeme kann dies eine wertvolle zusätzliche Informationsquelle darstellen, insbesondere wenn die visuelle Interpretation des Bildes selbst komplex ist.

Der Testaufbau dieses Kapitels sieht mehrere unterschiedliche Bildtypen vor. Es kommen eingebettete Bilder, Schaubilder oder Diagramme sowie Grafiken mit eingebettetem Text zum Einsatz. Alle Bilder sind so gestaltet, dass sie relevante Textelemente enthalten, etwa Beschriftungen, Achsentitel oder erklärende Hinweise innerhalb der Grafik. Diese Texte werden nicht zusätzlich im Fließtext wiederholt, um sicherzustellen, dass ihre Erkennung ausschließlich über die Bildverarbeitung erfolgt.

Insgesamt prüft dieses Kapitel, ob Bilder in ihrer Doppelfunktion als visuelle und semantische Informationsträger korrekt verarbeitet werden. Die Ergebnisse liefern wichtige Hinweise darauf, ob ein System für RAG-Workflows geeignet ist, in denen multimodale Inhalte nicht nur dargestellt, sondern auch inhaltlich erschlossen und referenzierbar gemacht werden müssen.

Tabellen nehmen in wissenschaftlichen und technischen Dokumenten eine zentrale Rolle ein, da sie Informationen nicht nur linear, sondern explizit relational organisieren. Im Unterschied zu Fließtext entsteht Bedeutung in Tabellen aus der Kombination von Zeilen, Spalten und deren Überschriften. Für RAG-Systeme ist diese Struktur besonders wertvoll, da sie präzise, überprüfbare Aussagen enthält, die sich direkt für Retrieval, Vergleich und faktenbasierte Antworten eignen. Das Ziel dieses Kapitels ist es, zu prüfen, in welchem Maß die verschiedenen Konverter Tabellen als semantische Strukturen erkennen und korrekt in maschinenlesbare Repräsentationen überführen.

Eine der grundlegenden Herausforderungen bei der Tabellenverarbeitung ist die zuverlässige Identifikation von Tabellenköpfen. Tabellenköpfe definieren die semantische Rolle der einzelnen Spalten oder Spaltengruppen und sind damit entscheidend für das Verständnis der enthaltenen Daten. In der Praxis bestehen Tabellenköpfe häufig nicht nur aus einer einzelnen Zeile, sondern aus mehreren übereinanderliegenden Zeilen, die gemeinsam eine hierarchische Bedeutung haben. Wird ein solcher mehrzeiliger Tabellenkopf nicht als zusammengehörige Einheit erkannt, geht die semantische Struktur der Tabelle verloren. Dies hat zur Folge, dass sich Spalteninhalte dann nicht mehr eindeutig interpretieren oder mit ihren jeweiligen Attributen verknüpfen lassen.

Ein weiteres zentrales Problem stellt die Tabellenkopfwiederholung bei mehrseitigen Tabellen dar. In vielen Dokumenten werden lange Tabellen über Seitenumbrüche hinweg fortgeführt, wobei der Tabellenkopf auf jeder neuen Seite erneut dargestellt wird. Diese Wiederholung dient der besseren Lesbarkeit und Verständlichkeit der Inhalte, stellt für die automatische Verarbeitung jedoch eine Herausforderung dar. Ein System muss erkennen, dass es sich um dieselbe Tabelle handelt und dass die wiederholten Tabellenköpfe nicht als neue Tabellen oder zusätzliche Datenzeilen interpretiert werden dürfen. In diesem Kapitel wird anhand einer mehrseitigen Tabelle mit Tabellenkopfwiederholungen geprüft, ob diese Wiederholungen korrekt unterdrückt und zu einer konsistenten, zusammenhängenden Tabellenstruktur zusammengeführt werden können.

Besondere Aufmerksamkeit gilt in diesem Kapitel auch der Erkennung von horizontalen und vertikalen Überspannungen in Tabellen. Überspannungen von Spalten und Zeilen werden eingesetzt, um Inhalte logisch zu gruppieren oder hierarchische Beziehungen innerhalb einer Tabelle abzubilden. Eine Zellenüberspannung kann etwa anzeigen, dass mehrere Spalten zu einer gemeinsamen Kategorie gehören oder dass ein Eintrag mehrere Zeilen umfasst. Wird diese Information nicht korrekt erkannt, gehen wichtige semantische Beziehungen verloren. Die Tabelle bleibt dann zwar formal erhalten, aber ihre Inhalte werden verzerrt oder unvollständig abgebildet.

Für RAG-Systeme hat dies direkte Auswirkungen. Tabellen, die korrekt strukturiert vorliegen, lassen sich gezielt abfragen, etwa nach bestimmten Attributen, Wertebereichen oder Relationen. Fehlerhafte Tabellenstrukturen führen dagegen zu ungenauen oder falschen Retrieval-Ergebnissen. Zudem beeinflusst die Qualität der Tabellendarstellung, ob Tabelleninhalte als eigenständige Chunks verarbeitet werden können oder ob sie mit Fließtext vermischt und damit unbrauchbar werden.

Der Testaufbau dieses Kapitels sieht daher mehrere unterschiedliche Tabellentypen vor, die gebündelt in einem eigenen Abschnitt des Dokuments platziert sind. Zunächst werden einfache Tabellen untersucht, die keine Überspannungen enthalten, klare Zeilen und Spalten aufweisen und vollständig durch Rahmenlinien strukturiert sind. Diese dienen als Baseline, um zu prüfen, ob grundlegende Tabellenstrukturen zuverlässig erkannt werden. Darauf aufbauend folgen komplexe Tabellen mit Spalten- und Zeilenüberspannungen, die eine differenziertere semantische Interpretation erfordern. Das Kapitel enthält auch eine mehrseitige Tabelle, deren Länge bewusst über eine Seite hinausgeht. Diese Tabelle wird auf den folgenden beiden Seiten fortgesetzt, wobei der Tabellenkopf als wiederholender Tabellenkopf definiert ist. Anhand dieses Beispiels wird geprüft, ob Seitenumbrüche korrekt gehandhabt werden, Tabellen fortgeführt und Kopfzeilen konsistent zugeordnet werden können. Abschließend werden verschiedene Tabellentypen ohne Rahmenlinien untersucht, um zu prüfen, ob deren Strukturen auch ohne sichtbare Linien erkannt werden. Insgesamt dient dieses Kapitel dazu, die Fähigkeit der untersuchten Werkzeuge zu bewerten, Tabellen nicht nur als visuelle Elemente, sondern als tragende semantische Strukturen für RAG-Workflows zu verarbeiten.

Listen und Aufzählungen sind ein wichtiges Strukturierungsmittel in wissenschaftlichen, technischen und insbesondere juristischen Texten. Sie dienen nicht nur der besseren Lesbarkeit, sondern stellen semantische Beziehungen zwischen Informationen her. In vielen Fällen definieren Listen Bedingungen, Voraussetzungen, Abfolgen oder gleichrangige Tatbestände. Für RAG-Systeme ist es daher entscheidend, dass Listen als solche erkannt werden und nicht zu einfachem Fließtext nivelliert werden. Ziel dieses Kapitels ist es, zu prüfen, ob unterschiedliche Werkzeuge Listenstrukturen zuverlässig erkennen und korrekt in strukturierte Repräsentationen überführen.

Im Gegensatz zu Fließtext besitzen Listen eine explizite innere Ordnung. Diese Ordnung kann numerisch, alphabetisch oder rein symbolisch sein und transportiert Bedeutung. Nummerierte Listen drücken häufig eine feste Reihenfolge oder eine logische Abfolge aus. Alphabetische Listen werden oft zur systematischen Gliederung komplexer Sachverhalte eingesetzt. Einfache Aufzählungen ohne Nummerierung kennzeichnen in der Regel gleichrangige Aspekte oder Beispiele. Wenn diese Strukturinformation verloren geht, wird der Text inhaltlich flacher und schwieriger maschinell interpretierbar.

Da in der Praxis häufig Kombinationen aus nummerierten Hauptpunkten und untergeordneten alphabetischen oder symbolischen Unterpunkten auftreten, kommt der korrekten Erkennung gemischter Listen eine besondere Bedeutung zu. Die Hierarchien in Listen mit gemischten Aufzählungszeichen sind semantisch bedeutsam, da sie Abhängigkeiten und Unterordnungen ausdrücken. Für das Chunking in RAG-Systemen ist diese Hierarchie von besonderer Bedeutung, da sie beeinflusst, welche Textteile zusammengehören und welche als eigenständige Einheiten betrachtet werden können.

Ein besonderes Strukturierungselement kommt vor allem bei juristischen Texten zum Einsatz. Dort erscheinen Aufzählungen häufig nicht in klassischer Listenform, sondern als sogenannte Randnummern oder Absatzkennzeichnungen. Diese Randnummern erfüllen eine ähnliche Rolle wie Listenpunkte, obwohl sie typografisch anders umgesetzt sind. Sie strukturieren Argumentationen, verweisen auf exakte Stellen im Text und ermöglichen präzise Referenzen. Ein System, das diese Strukturen nicht erkennt, behandelt juristische Texte fälschlicherweise als homogenen Fließtext und verliert damit wesentliche Ordnungsinformationen.

Geschachtelte Listen stellen eine zusätzliche Herausforderung dar. Listen innerhalb von Listen mit mehreren Ebenen sind in vielen Dokumenttypen üblich, etwa bei Regelwerken, technischen Spezifikationen oder Lehrtexten. Jede Ebene fügt der Struktur eine weitere semantische Differenzierung hinzu. Wird diese Verschachtelung bei der maschinellen Dokumentenverarbeitung nicht korrekt erkannt, gehen Beziehungen zwischen Haupt und Unterpunkten verloren. Für RAG-Systeme kann dies zur Folge haben, dass zusammengehörige Informationen getrennt oder unzusammenhängende Punkte gemeinsam verarbeitet werden.

Der Testaufbau sieht an dieser Stelle deshalb verschiedene realistische Listenformen vor: Einfache Aufzählungen, nummerierte Listen, Listen mit Buchstaben und gemischte Listen. Zusätzlich kommt auch eine geschachtelte Liste mit mindestens zwei Ebenen und ein kurzer Text mit Randnummern vor.

Insgesamt wird in diesem Kapitel untersucht, ob Listen als eigenständige strukturelle Einheiten erhalten bleiben und für weiterführende Verarbeitungsschritte nutzbar sind. Die Ergebnisse liefern wichtige Hinweise darauf, inwieweit die untersuchten Werkzeuge für den Einsatz in RAG-Workflows geeignet sind, bei denen strukturelle Präzision und semantische Differenzierung eine zentrale Rolle spielen.

Dieses Kapitel dient der Prüfung, wie zuverlässig mathematische Inhalte in Dokumenten erkannt, interpretiert und in strukturierte Repräsentationen überführt werden. In wissenschaftlichen und technischen Texten sind mathematische Formeln zentrale Bedeutungsträger. Sie lassen sich nicht als gewöhnlicher Fließtext behandeln, da ihre Semantik aus der räumlichen Anordnung von Symbolen, Operatoren und Hoch- bzw. Tiefstellungen entsteht. Für RAG-Systeme ist es daher entscheidend, dass mathematische Ausdrücke nicht nur visuell erkannt, sondern auch formal korrekt modelliert werden.

Ein zentrales Ziel dieses Testteils ist die Überführung mathematischer Formeln in standardisierte, maschinenlesbare Formate. Dazu zählen insbesondere die Auszeichnungssprachen MathML und LaTeX. Beide Formate erlauben eine explizite Darstellung der mathematischen Struktur und sind damit für Weiterverarbeitung, Suche und Vergleich geeignet. Wird eine Formel lediglich als linearer Text oder als Bildfragment extrahiert, geht ihre innere Struktur verloren. In einem RAG-Kontext können solche Inhalte dann weder korrekt interpretiert noch sinnvoll abgefragt oder reproduziert werden.

Besondere Herausforderungen ergeben sich bei komplexeren mathematischen Ausdrücken. Dazu zählen verschachtelte Brüche, Exponenten und Indizes, Summen- und Produktzeichen, Integrale sowie mehrzeilige Gleichungen. Die Bedeutung einer Formel hängt dabei nicht nur von den verwendeten Symbolen ab, sondern von ihrer relativen Position zueinander. Hoch- und Tiefstellungen, Klammerungen und Ausrichtungen müssen korrekt erkannt und in der strukturierten Repräsentation abgebildet werden. Fehler in diesem Bereich führen unmittelbar zu semantisch falschen Formeln.

Für RAG-Systeme ist die korrekte Erkennung mathematischer Inhalte aus mehreren Gründen relevant. Zum einen müssen Formeln durchsuchbar sein, etwa um Dokumente zu finden, die eine bestimmte Gleichung oder Struktur enthalten. Zum anderen können mathematische Ausdrücke Bestandteil von Antworten sein, etwa bei fachlichen Erläuterungen oder Herleitungen. In solchen Fällen muss das System in der Lage sein, die Formel in korrekter Form wiederzugeben. Dies ist nur möglich, wenn die zugrunde liegende Repräsentation strukturiert und normiert vorliegt.

Der Testaufbau dieses Kapitels sieht mehrere mathematische Formeln vor, sowohl inline im Fließtext als auch als abgesetzte Gleichungen. Die Formeln variieren in ihrer Komplexität und nutzen unterschiedliche mathematische Notationen. Ziel ist es, zu prüfen, ob diese Inhalte zuverlässig erkannt und konsistent entweder in MathML oder in LaTeX umgewandelt werden können. Dabei wird nicht nur die syntaktische Korrektheit, sondern auch die semantische Gleichwertigkeit der resultierenden Repräsentation bewertet.

Insgesamt untersucht dieses Kapitel, ob mathematische Inhalte als eigenständige semantische Objekte behandelt werden. Die Ergebnisse liefern wichtige Hinweise darauf, ob ein System für RAG-Workflows geeignet ist, die mathematische Argumentationen, Formeln oder formale Modelle zuverlässig verarbeiten und reproduzieren müssen.

Dieses Kapitel untersucht die Erkennung und Verarbeitung von Textboxen als eigenständige Layout-Objekte innerhalb eines Dokuments. Textboxen werden oft verwendet, um Definitionen, Hinweise, Warnungen, Beispiele oder ergänzende Informationen vom übrigen Fließtext abzugrenzen. Sie besitzen häufig eigene Rahmen, Hintergründe oder Positionierungen und folgen nicht immer der linearen Lesereihenfolge des Haupttextes.

Für RAG-Systeme stellt dies eine besondere Herausforderung dar. Ein System muss zunächst erkennen, dass es sich um einen separaten Inhaltscontainer handelt. Anschließend muss entschieden werden, ob der Inhalt in den regulären Dokumentfluss integriert, als eigenständiger Chunk gespeichert oder mit einer besonderen semantischen Kennzeichnung versehen werden soll. Werden Textboxen ignoriert, gehen potenziell wichtige Informationen verloren. Werden sie dagegen an einer falschen Position in den Fließtext eingefügt, kann dies die Kohärenz des Dokuments beeinträchtigen.

Der Testaufbau enthält zwei Textboxen mit identischem Inhalt, die als eigenständige Objekte innerhalb des Dokuments platziert sind. Dadurch kann geprüft werden, ob die Werkzeuge Textboxen zuverlässig identifizieren, deren Inhalt vollständig extrahieren und die Trennung zwischen Fließtext und Boxinhalt beibehalten können. Die Ergebnisse liefern wichtige Hinweise darauf, wie gut sich zusätzliche redaktionelle Informationsschichten für RAG-Workflows nutzbar machen lassen.

Dieses Kapitel widmet sich der Erkennung und Verarbeitung von Indexstrukturen, wie sie vor allem in wissenschaftlichen Monografien, Handbüchern und juristischen Kommentaren vorkommen. Ein Index ist kein bloßes Register wiederkehrender Wörter, sondern ein kuratiertes Metadateninstrument. Index-Einträge verweisen gezielt auf Begriffe, Konzepte oder Namen, die für das Verständnis und die Navigation innerhalb eines Dokuments relevant sind, auch dann, wenn diese Begriffe im Fließtext nicht explizit oder nicht in der verwendeten Form auftreten. Für RAG-Systeme stellen Indizes daher eine besonders wertvolle zusätzliche Informationsschicht dar.

Index-Einträge enthalten semantisch verdichtete Metadaten. Sie repräsentieren Begriffe, die von Autorinnen oder Redakteuren bewusst als such- und referenzrelevant markiert wurden. Häufig handelt es sich dabei um Synonyme, Oberbegriffe oder konzeptuelle Bezeichnungen, die sich nicht unmittelbar aus einer rein textuellen Analyse ableiten lassen. Wenn ein RAG-System diese Informationen ignoriert, geht ein Teil der intellektuellen Erschließungsleistung des Dokuments verloren. Ziel dieses Kapitels ist es, zu prüfen, ob Index-Einträge erkannt, strukturell erfasst und für Retrieval-Zwecke nutzbar gemacht werden können.

Eine große Schwierigkeit bei der Verarbeitung von Indizes liegt in der Zuordnung der Index-Einträge zu den entsprechenden Textstellen. Klassische Indizes arbeiten mit Seitenverweisen. Ein Index-Eintrag besteht aus einem Begriff und einer oder mehreren Seitenzahlen, auf denen der Begriff thematisch relevant ist. Diese Seitenzahlen beziehen sich in der Regel auf die Pagina des Dokuments und nicht auf technische Seitenzählungen wie z.B. die PDF-Seitennummern. Damit ein System diese Referenzen korrekt auflösen kann, müssen mehrere Informationen zusammengeführt werden. Dazu gehören die Erkennung des Index-Eintrags, die korrekte Interpretation der Seitenangaben und die Zuordnung dieser Angaben zu den entsprechenden Textsegmenten.

Für RAG-Systeme ist diese Auflösung besonders anspruchsvoll, da die Index-Einträge selbst nicht im Fließtext verankert sind. Sie existieren als eigenständige Referenzstruktur am Ende des Dokuments. Um Index-Einträge sinnvoll nutzbar zu machen, müssen sie mit Umbruchinformationen und der Seitenlogik verknüpft werden. Nur wenn bekannt ist, welcher Text auf welcher Pagina steht, lassen sich Index-Einträge als Brücke zwischen abstrakten Begriffen und konkreten Textstellen verwenden. Dieser Test knüpft damit direkt an die im vorherigen Kapitel geprüften Mechanismen zur Seitenlogik und Pagina-Erkennung an.

Der Aufbau dieses Kapitels sieht vor, dass im gesamten Dokument mehrere Index-Einträge gesetzt sind, deren referenzierte Begriffe über verschiedene Kapitel verteilt auftreten. Damit wird geprüft, ob Index-Verweise kapitelübergreifend korrekt aufgelöst werden können. Am Ende des Dokuments befindet sich ein automatisch generierter Index, der diese Einträge gesammelt darstellt. Dieser Index ist optisch klar vom Fließtext getrennt und folgt der typischen alphabetischen Ordnung wissenschaftlicher Register.

Zudem wird geprüft, ob der Index als eigenständiger Dokumentbestandteil erkannt wird und die einzelnen Index-Einträge als strukturierte Datensätze erfasst werden können, bestehend aus Begriff und zugehörigen Seitenverweisen. Die erfolgreiche Verarbeitung dieses Testteils ist ein starkes Indiz dafür, dass ein System in der Lage ist, redaktionell erzeugte Metadaten in RAG-Workflows zu integrieren und dadurch die Such- und Antwortqualität deutlich zu verbessern.