Diese Studie untersucht, ob strukturierte oder unstrukturierte Daten besser für das Training eines RAG-Systems (Retrieval-Augmented Generation) geeignet sind. RAG-Systeme kombinieren vortrainierte Sprachmodelle mit einer externen Wissensquelle, um genauere und kontextbezogene Antworten zu generieren. Eine zentrale Frage dabei ist, welches Datenformat die besten Ergebnisse liefert.

Dafür wurden drei verschiedene RAG-Systeme entwickelt, die auf derselben Wissensbasis, aber mit unterschiedlichen Datenformaten trainiert wurden. Anschließend wurden ihnen elf identische Fragen gestellt, um zu analysieren, ob sich die Antworten je nach Datenformat unterscheiden und welches Format die besten Ergebnisse erzielt.

Die Tests zeigten eindeutig, dass strukturierte Daten einem unstrukturierten PDF in jedem Fall überlegen sind. Besonders gut schnitten speziell für das RAG-System aufbereitete Daten ab. Das beste Ergebnis wurde mit einem Markdown-Format erzielt, das eine klare Strukturierung der Informationen ermöglichte. Dadurch wurden nicht nur präzisere, sondern auch konsistentere Antworten generiert.

Die Ergebnisse der Tests finden Sie in diesem Ordner in der Exceldatei: Zu den Unterlagen

Diese Studie bestätigt, dass eine gezielte Strukturierung der Daten die Leistung eines RAG-Systems erheblich verbessert. Für optimale Ergebnisse sollten die Daten in einem Format vorliegen, das speziell für das RAG-System angepasst ist – idealerweise in Markdown oder einem vergleichbaren strukturierten Format.

Mit der Weiterentwicklung von Retrieval-Augmented-Generation-(RAG)Systemen rückt die Frage in den Fokus, welche strukturierten Informationen aus Dokumenten bei der Konvertierung in Plain Text verloren gehen – und welche Auswirkungen dies auf die Nutzung und Qualität der generierten Antworten hat?

Während KI-Entwickler, die RAG-Systeme betreiben, in der Regel mit Python und datengetriebenen Prozessen vertraut sind, stammen die Inhalte oft von Fachexperten, die sich mit strukturierten Dokumentenformaten wie XML, Word oder PDF auskennen. Diese unterschiedlichen Perspektiven führen zu Herausforderungen in der Datenaufbereitung und -nutzung.

Sprachmodelle werden auf Basis großer Textmengen trainiert, die durch verschiedene Bibliotheken in Plain Text überführt werden. Dabei gehen oft wertvolle Metadaten und Strukturinformationen verloren. Dieser Verlust kann die Genauigkeit und Relevanz der Antworten beeinflussen, da RAG-Systeme typischerweise die Nähe von Textpassagen als Indikator für deren inhaltlichen Zusammenhang verwenden.

In dieser Studie analysieren wir, welche strukturierten Informationen bei der Konvertierung von Dokumenten in Plain Text verloren gehen und welche Auswirkungen dies auf die Generierung von Antworten durch RAG-Systeme hat. Besonders im Fokus stehen Verweis-Systeme, Tabellen, typografische Auszeichnungen sowie unterschiedliche Layout- und Semantik-Strukturen.

Wir haben CustomGPT als LLM verwendet. Dabei handelt es sich um ein anpassbares GPT-Modell, das gezielt mit eigenen Inhalten und Datenquellen kombiniert werden kann, um domänenspezifische Antworten zu generieren. Es ermöglicht eine einfache Integration von Retrieval-Augmented Generation (RAG) in spezifischen Anwendungsszenarien.

Wir haben einen einfachen, aber typischen Zugang zu dem Thema gewählt, um praxisnahe Herausforderungen bei der Informationsübertragung aus strukturierten Dokumenten verständlich zu machen.

In den weiteren Studien dieser Reihe gehen wir differenzierter vor, analysieren die Architektur von RAG-Systemen im Detail und untersuchen systematisch die Ursachen für qualitative Unterschiede in den Antwortgenerierungen.

1.2.1 Verweis-Systeme: Fußnoten, Endnoten, Literaturverzeichnisse und Indexe

1.2.2 Tabellen und ihre Struktur

1.2.3 Typografische und inzeilige Auszeichnungen

1.2.4 Layout: Textdarstellung und visuelle Struktur

1.2.5 Semantik: Beispiel Mathematikformeln

1. Zur Durchführung der Analyse wurde ein spezielles Beispieldokument in drei Formaten – PDF, HTML und Markdown – erstellt, das dieselbe Wissensbasis enthält. Die Dokumentgröße war in diesem Fall irrelevant – es umfasste etwa 10 Seiten. Wichtiger waren die klare Struktur und Eindeutigkeit der Texte, um die Antwort leicht überprüfbar zu machen. Dies ermöglicht einen direkten Vergleich der Informationsverluste zwischen den Formaten und deren Auswirkungen auf RAG-Systeme.

2. Um die praktischen Auswirkungen dieser Verluste zu bewerten, wurden drei RAG-basierte Systeme auf der identischen technischen Grundlage trainiert, jeweils mit einem Dokument aus einem der drei Formate.

3. Anschließend wurden die trainierten RAG-Bots mit gezielten Fragen aus den untersuchten Bereichen konfrontiert, darunter Verweis-Systeme (Fußnoten, Endnoten, Literaturverzeichnisse, Indizes), Tabellenstrukturen, Layout- und Semantikmerkmale.

4. Die generierten Antworten wurden systematisch auf ihre Korrektheit überprüft, um festzustellen, inwieweit die strukturierten Informationen erhalten blieben und ob Unterschiede zwischen den Formaten messbare Auswirkungen auf die Antwortqualität hatten.

5. Jede gestellte Frage und die jeweilige Antwort der drei Bots wurden gespeichert und bleiben dauerhaft abrufbar. Dies ermöglicht eine detaillierte Analyse der Ergebnisse und erlaubt es auch Dritten, die generierten Antworten selbst zu überprüfen und eigene Tests durchzuführen. Die gespeicherten Antworten bieten somit eine transparente Grundlage für die Bewertung der Auswirkungen von Formatunterschieden auf RAG-Systeme.

Die Frage hier lautet:

Wo wurde ein Hund, der zur Bewachung des Hauses gehalten wird, als Haushund bezeichnet?

Erkannt werden muss der Zusammenhang zwischen Text und Fußnote.

Ergebnis:

Die Frage lautet:

Wo finde ich weitere Literatur zur Nachkommenschaft von Hund und Wolf?

Erkannt werden muss der Zusammenhang zwischen Text und Literaturverzeichnis.

Ergebnis:

Die Frage lautet:

Wo finde ich weitere Informationen zum Dingo als Unterart von...?

Erkannt werden muss der Zusammenhang zwischen Text und den Endnoten.

Ergebnis:

In diesem Teil der Studie wurde untersucht, ob einfache Tabellen korrekt erfasst werden, bevor komplexere Tabellen mit zusätzlichen Strukturen betrachtet werden. Die einfache Tabelle hatte einen klaren 6×6-Aufbau ohne Überspannungen. Um Missverständnisse bei der Abfrage zu vermeiden, enthielt sie ausschließlich Zahlenwerte als Inhalte sowie eindeutige Überschriften für jede Zeile und Spalte. Die Abfrage erfolgte durch die Kombination der jeweiligen Zeilen- und Spaltenüberschriften, sodass eine eindeutige Identifizierung der Werte gewährleistet war.

Bei den komplexeren Tabellen wurden gezielt Überspannungen eingeführt, die über mehrere Spalten oder Zeilen reichten. Diese strukturellen Besonderheiten mussten berücksichtigt werden, um die korrekten Antworten zu ermitteln. Die Studie untersuchte, inwiefern sich diese zusätzlichen Herausforderungen auf die Erfassungsgenauigkeit auswirkten und ob die drei RAG-Systeme die komplexen Tabellen ebenso zuverlässig interpretieren konnten wie die einfachen.

Die Frage lautet:

Nenne den Wert bei der Haarfarbe bei der Kombination aus Schwarz und Grün

Erkannt werden muss der Zusammenhang zwischen Spalten und Zeilen und die jeweiligen Überschriften.

Ergebnis:

Die Frage lautet:

Nenne den Wert bei der Pudelfarbe bei der Kombination aus Rot und jung

Erkannt werden muss der Zusammenhang zwischen Spalten und Zeilen unter Berücksichtigung der Überspannungen und die jeweiligen Überschriften.

Ergebnis:

Unterschiede in der Abfrage von HTML- und Markdown-Dateien

Auffällig ist, dass die Abfrage der HTML-Datei nicht korrekt funktionierte, während die Markdown-Datei problemlos verarbeitet wurde. Eine mögliche Ursache für das Problem mit der HTML-Datei könnte darin liegen, dass entweder alle Attribute oder sogar sämtliche Tags ignoriert wurden. Dies hätte zur Folge, dass Tabellenstrukturen mit Überspannungen nicht richtig erkannt werden, was zu fehlerhaften oder unvollständigen Abfragen führt.

Im Gegensatz dazu funktionierte die Markdown-Datei, da beim Erzeugen des Markdown-Codes die Überspannungen aufgelöst wurden. Dadurch war die Struktur für die Abfrage klarer und einfacher interpretierbar.

In der folgenden Abbildung wird der verwendete Markdown-Code dargestellt:

Einfluss von Textformatierungen auf die Identifikation wichtiger Eigenschaften

In unserem Experiment haben wir einen Text vorgegeben, in dem bestimmte Wörter aus einer definierten Liste durch fett und unterstrichen hervorgehoben wurden. Die Fragestellung war so formuliert, dass ein Mensch mit hoher Wahrscheinlichkeit diese hervorgehobenen Begriffe als die zentralen Eigenschaften der Liste identifizieren würde.

Die Ergebnisse zeigten jedoch, dass unabhängig vom gewählten Format – sei es Fett, Unterstreichung oder eine Kombination – die Formatierung keinen Einfluss auf die Generierung der Antwort hatte. In weiteren Tests wurden sogar H1-Elemente verwendet, um wichtige Begriffe noch stärker hervorzuheben. Auch hier zeigte sich kein Effekt.

Stattdessen erwies sich die Nähe der Begriffe im Text als entscheidender Faktor. Das bedeutet, dass nicht die visuelle oder strukturelle Hervorhebung, sondern die relative Position der Begriffe innerhalb des Textes maßgeblich beeinflusst, welche Informationen als relevant erkannt und in die Antwort übernommen werden.

Die Frage hier lautet:

Nenne die wichtigste Eigenschaft eines Deutscher Schäferhundes. Nenne nur eine.

Erkannt werden muss der Zusammenhang zwischen Auszeichnung als semantische Betonung im Text und der Wichtigkeit dieser.

Ergebnis:

Einfluss des Layouts auf die Texterkennung

Hier wurden drei verschiedene Layout-Ansätze getestet, um zu analysieren, wie gut die Verarbeitung und Interpretation durch Retrieval-Augmented Generation (RAG) funktioniert.

1. Gedrehter Text in einer Textbox
   Hier wurde ein Text in einer Textbox platziert und um einige Grad gedreht.
2. Stark verzerrter Text
   Der Text wurde so verändert, dass er optisch stark verzerrt erschien.
3. Schaubild mit Pfeilen zur Darstellung einer Reihenfolge
   Ein Diagramm mit Pfeilen sollte eine logische Reihenfolge visualisieren.

Die Ergebnisse zeigten, dass die zweite Variante – der stark verzerrte Text – in allen Formaten korrekt verarbeitet wurde. Die erste und die dritte Variante hingegen funktionierten bei PDFs nicht, während sie bei HTML- und Markdown-Dateien erfolgreich verarbeitet wurden.

Beim Schaubild ist davon auszugehen, dass die PDF-zu-Text-Umwandlung der horizontalen Position der Inhalte Vorrang gab und die Pfeile als strukturgebendes Element ignoriert wurden. Dadurch ging die intendierte Reihenfolge der Informationen verloren, was zu einer fehlerhaften Interpretation führte.

Beim gedrehten Text könnte die fehlende Erkennung des eigentlichen Textflusses durch die PDF-zu-Text-Umwandlung dazu geführt haben, dass die Zeichen in einer falschen Reihenfolge extrahiert wurden. Dies hätte dann zu einem unverständlichen Kauderwelsch geführt, anstatt den Text sinnvoll wiederzugeben.

Die Frage hier lautet:

Hunde besitzen wieviele Geschmacksknospen? und wieviele im Vergleich dazu der Mensch?

Erkannt werden muss der bei der PDF-zu-Textumwandlung der Textfluss. Die anderen Formate haben den Text in lesbarer Form

Ergebnis:

Die Frage hier lautet:

Wie viele Autosomen hat der Zellkern des Hundes?

Erkannt werden muss der bei der PDF zu Textumwandlung der Textfluss. Die anderen Formate haben den Text in lesbarer Form

Ergebnis:

Die Frage hier lautet:

Ordne die folgenden Begriffe: Ohmacht, Speiseröhre ,Fuss, Halten , Rahmen, Typo.

Erkannt werden muss die Reihenfolge, die durch die Pfeile dargestellt wird.

Ergebnis:

Die Frage hier lautet:

Gibt es Formeln mit dem Radius r2

Erkannt werden muss die Semantik der Formel.

Ergebnis:

Die Antwort aller drei Agents war:

Ja, in meinem Wissen gibt es eine Formel, die den Radius ( r_2 ) enthält:

[
= \frac{\pi}{3} \cdot h \cdot \left( {r_{1}}^{2} + \frac{r_{1}}{\left( \frac{1}{r_{2}} - \frac{1}{r_{1}} \right)} - \frac{{r_{2}}^{2}}{r_{1} \cdot \left( \frac{1}{r_{2}} - \frac{1}{r_{1}} \right)} \right)
] 

Die Antwort wurde als korrekt gewertet, weil dies die Repräsentanz der TeXformel ist. Es handelt sich hier also um ein Problem in der Darstellung nicht in der Erfassung und Beantwortung.

Indexeinträge stellen eine besondere Herausforderung für die PDF-zu-Text-Konvertierung dar. Sie enthalten meist nur eine Seitenzahl, die sich auf die Paginierung bezieht – nicht unbedingt auf die tatsächliche Seitenzählung im PDF. Zudem kann die Paginierung in verschiedenen Formaten vorliegen (z. B. römische oder arabische Ziffern), was die Zuordnung erschwert.

Ein weiteres Problem ist, dass die Fundstelle eines Indexeintrags im Fließtext nicht in jedem Fall identisch mit dem eigentlichen Indexeintrag ist. Im Beispieldokument taucht das Stichwort „Eckeltier“ im Fließtext gar nicht auf, es wurde als Indexeintrag mit der Fundstelle „Straßenhunde“ verknüpft. In der Datenbasis PDF gehen dadurch wertvolle semantische Informationen verloren.

Im Gegensatz dazu sind Indexeinträge und Marginalien in HTML oder überarbeitetem Markdown direkt im Fließtext verankert, wodurch sie leichter identifiziert und weiterverarbeitet werden können. Gerade für eine tiefere semantische Erschließung von Texten sind diese Strukturen essenziell, da sie Zusammenhänge und Querverweise herstellen.

Die Frage hier lautet:

Welche Hunde werden als Ekeltiere bezeichnet

Erkannt werden muss die Zuordnung im Index.

Ergebnis:

Die Datenextraktion & Bereinigung sowie die Berechnung & Speicherung der Embeddings sind die beiden entscheidenden Schritte beim Training eines RAG-Modells. Hier besteht noch die Möglichkeit, die Qualität der verarbeiteten Inhalte gezielt zu beeinflussen, um bessere Retrieval- und Generierungsergebnisse zu erzielen.

4.1.1 Datenextraktion & Bereinigung

4.1.2 Embeddings berechnen & speichern

Die Studie war in gewisser Weise nicht ganz fair, da sie exemplarisch aufzeigte, wie die Qualität der Antworten je nach definiertem Problem stark variieren kann. Dabei wurden jedoch nicht verschiedene methodische Ansätze betrachtet oder mehrere fertige Systeme miteinander verglichen, was eine umfassendere Bewertung ermöglicht hätte.

Zudem verfügen wir durch unseren Octopus-Service über eine umfassende Expertise in der Umwandlung von PDF zu XML und wissen genau, wie die Datenextraktion in der Praxis üblicherweise abläuft. Gerade hier liegt der größte Hebel, denn wenn bereits in diesem frühen Schritt Informationen verloren gehen oder nicht korrekt erfasst werden, ist eine nachträgliche Korrektur kaum noch möglich. Shit in, shit out – selbst das beste System kann nur so gute Ergebnisse liefern, wie es die Qualität der zugrunde liegenden Daten erlaubt.