XbrlMiniTaxonomy im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob ein Modell ein vollständiges XBRL Beispiel erzeugen kann. Erwartet wird eine kleine eigene Taxonomie inklusive Schema, Linkbase Referenzen und zwei Concepts. Außerdem muss eine Instanz mit Context und dazugehörigen Facts erzeugt werden, um sowohl Instanzstruktur als auch Taxonomiekomponenten zu testen.
| Quelldatei | XbrlMiniTaxonomy.txt |
|---|---|
| Serie | 1 |
| Kategorien | xml, xbrl, taxonomy |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | d27a1dbe2ce478f13de1cd4f84e61284a204c15d59b549f6fee75880a2a27b2b |
Erwartetes Ergebnis
Konsistentes XBRL Dateiset aus Taxonomieschema, Label Linkbase, Presentation Linkbase und Instanz mit Context und zwei Facts.
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe mehrere zusammengehörige XML Artefakte. Eine Taxonomie und eine Instanz sind getrennte Dokumente. Alle Dateiverweise und QName Beziehungen müssen konsistent sein.
Muss erfüllt sein
- Die Antwort enthält klar getrennte XML Dokumente für mindestens das Taxonomie XSD, eine Label Linkbase, eine Presentation Linkbase und die XBRL Instanz.
- Das Taxonomie XSD hat einen eigenen targetNamespace, importiert beziehungsweise referenziert die XBRL Basisschemata und definiert mindestens zwei Concepts, etwa Revenue und Profit.
- Die Concepts besitzen geeignete name, id, type, substitutionGroup und xbrli:periodType Angaben sowie bei monetären Concepts eine plausible balance Angabe.
- Das Schema verweist konsistent auf Label und Presentation Linkbases.
- Die Label Linkbase versieht beide Concepts mit Labels.
- Die Presentation Linkbase verbindet beide Concepts in einem Präsentationsnetzwerk.
- Die Instanz hat xbrli:xbrl als Wurzel, verweist per schemaRef auf die Taxonomie und enthält mindestens einen Context.
- Für monetäre Facts existiert eine passende Unit.
- Die Instanz enthält je einen Fact für beide Concepts mit gültigem contextRef, bei Zahlen unitRef und einer plausiblen decimals Angabe.
- Alle xlink:href, Locator, Rollen, QNames und IDs sind gegenseitig auflösbar.
Fehlerkriterien
- Taxonomieschema, Linkbases und Instanz werden als ein einziges unzulässiges XML Dokument ineinander verschachtelt.
- Linkbase Referenzen oder Locator zeigen auf nicht vorhandene Concepts.
- Context, Unit oder einer der beiden Facts fehlt.
- Die XML Dokumente sind zwar wohlgeformt, bilden aber kein konsistentes XBRL Dateiset.
Prompt
Erzeuge unter content ein vollständiges XBRL Beispiel. Erstelle eine kleine eigene Taxonomie und eine Instanz. Erforderliche Bestandteile der Taxonomie ein XML Schema mindestens zwei Concepts, zum Beispiel Revenue und Profit Linkbase Referenzen (label und presentation oder minimal funktionsähnlich) Erforderliche Bestandteile der Instanz ein Context für ein Geschäftsjahr zwei Facts, die auf die Concepts referenzieren und Werte enthalten Achte auf gültige XBRL Struktur und korrekt deklarierte Namensräume. Gib ausschließlich die vollständige XBRL Darstellung zurück (Taxonomie Komponenten und Instanz). # content
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.