FHIR_HFIR_07_Gastrointestinal_ttl im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob das Modell ein FHIR Bundle für eine HFIR Anamnese zur gastrointestinalen Symptomatik mit einem Patienten und einer Observation erzeugen kann, inklusive korrektem Namespace und Bundle ID.
| Quelldatei | FHIR_HFIR_07_Gastrointestinal_ttl.txt |
|---|---|
| Serie | 2 |
| Kategorien | fhir, ttl, hfir, bundle |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | aa8a30733ce4a48916cd0a39c7ee0796b7c7518ddd8f640d3762221e7fc04fd8 |
Erwartetes Ergebnis
Valides FHIR R4 RDF/Turtle Bundle mit eindeutiger Bundle id, Patient, gastrointestinaler Observation und den Komponenten H, F, I und R in dieser Reihenfolge.
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe Bundle Identität, formatgerechte FHIR Namensraumbehandlung, den gastrointestinalen Bezug und die Reihenfolge der vier HFIR Komponenten.
Muss erfüllt sein
- Die Ausgabe besteht ausschließlich aus syntaktisch gültigem Turtle und lässt sich als RDF Graph parsen. Markdown Codezäune dürfen für die Prüfung entfernt werden, zusätzliche Prosa ist nicht zulässig.
- Der Präfix fhir ist auf http://hl7.org/fhir/ gebunden.
- Genau ein Knoten ist als fhir:Bundle typisiert und mit fhir:nodeRole fhir:treeRoot als Wurzelressource gekennzeichnet.
- Patient und Observation sind als fhir:Patient und fhir:Observation Ressourcen modelliert und über die FHIR Bundle Struktur erreichbar.
- FHIR Primitive verwenden die R4 RDF Modellierung mit fhir:value. Wiederholte Elemente besitzen konsistente, lückenlose fhir:index Werte ab 0.
- Die Observation besitzt gültige FHIR RDF Aussagen für status und code. Die subject Reference enthält eine konsistente fhir:Reference.reference und sinnvollerweise einen auflösbaren fhir:link zum Patient.
- Bundle.id ist vorhanden, nicht leer und ein syntaktisch gültiger FHIR id Wert.
- Das Bundle enthält einen Patient und eine mit ihm verknüpfte Observation.
- Observation.code oder Observation.code.text kennzeichnet eine gastrointestinale Symptomatik beziehungsweise eine semantisch eindeutige gleichwertige Formulierung.
- Die Observation enthält genau vier component Einträge in der Reihenfolge H, F, I, R.
- Jede Komponente besitzt einen nicht leeren valueString beziehungsweise die formatkonforme FHIR RDF Darstellung dieses valueString.
- Die Reihenfolge H, F, I, R wird über lückenlose fhir:index Werte 0, 1, 2 und 3 ausgedrückt.
Fehlerkriterien
- Die Ausgabe ist kein parsebares Turtle, bindet fhir falsch oder enthält Prosa außerhalb der RDF Serialisierung.
- Der Graph verwendet nur frei erfundene Prädikate statt der FHIR R4 RDF Eigenschaften.
- Mehr als ein Knoten ist als treeRoot markiert oder die Wurzel ist kein Bundle.
- Primitive Werte werden nicht mit fhir:value dargestellt oder Wiederholungen haben doppelte beziehungsweise lückenhafte fhir:index Werte.
- Patient, Observation, status, code oder die auf den Patient gerichtete subject Reference fehlt.
- Bundle.id fehlt oder ist kein gültiger FHIR id Wert.
- Der gastrointestinale Bezug fehlt oder die Observation beschreibt ein anderes klinisches Thema.
- Die Komponenten sind unvollständig, doppelt, in anderer Reihenfolge oder nicht als vier getrennte components modelliert.
Judge-Hinweis: Bewerte die offizielle FHIR R4 RDF Darstellung. Turtle ist ein RDF Graph, doch die Reihenfolge wiederholter FHIR Elemente wird durch fhir:index festgelegt. Für die klinischen HFIR Texte zählt semantische Plausibilität, nicht eine bestimmte Wortwahl.
Prompt
Baue ein FHIR Bundle als ttl, das eine HFIR-Anamnese zur gastrointestinalen Symptomatik enthält. Es soll einen Patient und eine Observation enthalten. Verwende das korrekte FHIR-Namespace und eine eindeutige Bundle-ID. Füge die HFIR-Teile H, F, I, R in der richtigen Reihenfolge ein.
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.





