RdfTurtleExtended im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob ein Modell ein korrektes RDF Beispiel in Turtle Syntax erzeugen kann. Gefordert sind eigene Präfixe, eine Klasse, mehrere Individuen, Objekt und Datenproperties sowie Ressourcen, die untereinander verknüpft sind. Die Syntax muss gültig und gut strukturiert sein.
| Quelldatei | RdfTurtleExtended.txt |
|---|---|
| Serie | 1 |
| Kategorien | xml, rdf |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | e3c74c0bac3f8699d5510416970e9f2db881a20ec3019167565d2aec918586e8 |
Erwartetes Ergebnis
Syntaktisch valides Turtle mit eigener Ontologie, Klasse, Individuen, Objekt und Dateneigenschaften sowie verknüpften Ressourcen.
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Parse die Ausgabe als Turtle, nicht als XML. Prüfe Deklarationen und tatsächliche Nutzung der Klasse und Eigenschaften.
Muss erfüllt sein
- Die Ausgabe lässt sich ohne Fehler als Turtle parsen und enthält keine erklärende Prosa außerhalb der Turtle Serialisierung.
- Es gibt Präfixdeklarationen für einen eigenen Namensraum sowie die benötigten Standardvokabulare wie rdf, rdfs und gegebenenfalls xsd.
- Mindestens eine Klasse ist definiert.
- Mindestens zwei Individuen sind dieser oder einer passenden Klasse zugeordnet.
- Mindestens eine Object Property ist definiert und wird verwendet, um zwei Ressourcen zu verknüpfen.
- Mindestens eine Datatype Property ist definiert und mit Literalwerten verwendet.
- Mindestens zwei Literalangaben sind vorhanden und bei Bedarf korrekt typisiert oder sprachmarkiert.
- Alle verwendeten Präfixe sind gebunden und alle Statements korrekt abgeschlossen.
Fehlerkriterien
- Die Ausgabe ist RDF/XML, JSON-LD oder Pseudocode statt Turtle.
- Klasse, mehrere Individuen, Object Property oder Datatype Property fehlen.
- Eigenschaften werden nur deklariert, aber nicht verwendet.
- Die Turtle Syntax ist nicht parsebar oder verwendet ungebundene Präfixe.
Judge-Hinweis: Die Kategorie 'xml' in den Testmetadaten ist hier irreführend. Turtle ist keine XML Syntax.
Prompt
Erstelle unter content ein umfangreicheres RDF Beispiel in Turtle Syntax. Erforderliche Bestandteile ein eigener Namensraum Prefix eine Klasse mehrere Individuen eine Objektproperty eine Dataproperty zwei Ressourcen mit Beziehungen untereinander mindestens zwei Literal Eigenschaften Achte auf gültige Präfixe und saubere Turtle Syntax. Gib ausschließlich die Turtle Darstellung zurück. # content
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.