8 Bewertungs- und Gewichtungssystem
Um die Ergebnisse der Vergleichsstudie regelbasiert und nachvollziehbar bewerten zu können, wurde ein Punktesystem entwickelt. Jedes untersuchte Kapitel besteht aus mehreren Kriterien, die einzeln bewertet werden. Die Kriterien beschreiben konkrete Anforderungen an die Konvertierung, zum Beispiel ob Überschriftenhierarchien erkannt werden, ob Tabellenstrukturen erhalten bleiben, ob Listen korrekt ausgezeichnet werden oder ob Absätze und Zeilenumbrüche richtig übernommen werden. Für jedes Kriterium wird eine maximale Punktzahl festgelegt.
Das Gewichtungssystem ist dynamisch aufgebaut. Das bedeutet, dass die Gewichtung je nach Use Case angepasst werden kann. Entwickelt wurde dieses System auch deshalb, damit die Einordnung der untersuchten Tools an die Anforderungen der jeweiligen Publikation und der jeweiligen verlegerischen Anwendung angepasst werden kann. In Verlagen unterscheiden sich diese Anforderungen stark nach Publikationstyp: Während in manchen wissenschaftlichen Fachbüchern oder Lehrwerken mathematische Formeln, Tabellen, Fußnoten und Literaturverweise eine zentrale Rolle spielen können, kommen mathematische Inhalte in anderen Publikationen kaum oder gar nicht vor. Dort sind dann z.B. eher Fließtext, Kapitelstruktur, typografische Auszeichnungen und gegebenenfalls Fußnoten relevant.
Das Gewichtungssystem ermöglicht es daher, einzelne Kriterien je nach Publikationsform stärker oder schwächer zu bewerten. Besonders wichtige Anforderungen erhalten eine höhere Gewichtung, weniger zentrale Anforderungen eine niedrigere. Dadurch wird verhindert, dass alle Kriterien gleich stark in das Ergebnis eingehen, obwohl sie für die spätere Nutzung unterschiedlich relevant sind. Eine korrekt erkannte Überschriftenhierarchie ist beispielsweise für strukturiertes Chunking und Retrieval deutlich wichtiger als ein einzelnes kleineres Formatierungsdetail. Deshalb kann dieses Kriterium mehr Punkte erhalten. Damit ermöglicht das Bewertungs- und Gewichtungssystem eine differenzierte Einschätzung der untersuchten Tool-Konfigurationen statt einer starren Rangfolge.
Die Bewertung erfolgt in mehreren Ebenen. Zunächst wird jedes einzelne Kriterium innerhalb eines Kapitels bewertet. Anschließend werden die erreichten Punkte pro Tool addiert und mit der maximal erreichbaren Punktzahl des jeweiligen Kapitels verglichen. Daraus ergibt sich ein Prozentwert pro Kapitel. Dieser zeigt, wie gut ein Tool die Anforderungen eines bestimmten Testkriteriums erfüllt.
Zusätzlich werden die Kapitelbewertungen zu einem Gesamtergebnis zusammengeführt. Dafür werden die gewichteten Punkte aller Kapitel addiert und mit der maximal erreichbaren Gesamtpunktzahl verglichen. Auf dieser Grundlage entsteht ein Gesamtranking der untersuchten Konvertierungstools. Dieses Ranking soll nicht nur zeigen, welches Tool insgesamt die meisten Punkte erreicht, sondern auch, in welchen Bereichen die jeweiligen Stärken und Schwächen liegen.
Die gewichtete Auswertung macht deutlich, dass ein Tool nicht allein deshalb gut abschneidet, weil es in vielen kleinen Einzelkriterien solide Ergebnisse liefert. Entscheidend ist, ob es die für den jeweiligen Use Case besonders relevanten Anforderungen zuverlässig erfüllt. So kann ein Tool in einfachen Textkriterien gute Werte erzielen, aber bei komplexen Tabellen, Überschriftenstrukturen oder XML-Auszeichnungen deutlich schwächer abschneiden. Umgekehrt können spezialisierte Tools in bestimmten Kapiteln sehr hohe Werte erreichen, ohne in allen Bereichen gleich stark zu sein.
Das Bewertungs- und Gewichtungssystem schafft damit eine transparente Grundlage für den Vergleich. Es verbindet quantitative Bewertung mit inhaltlicher Relevanz und ermöglicht eine differenzierte Einschätzung der Tools. Die Ergebnisse lassen sich dadurch sowohl als Gesamtranking lesen als auch gezielt nach einzelnen Anforderungen auswerten.