FHIR_HFIR_01_SimpleBundle_ttl im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob das Modell ein einfaches FHIR R4 Bundle mit genau einem Patient und einer Observation erzeugen kann, wobei die Observation vier HFIR Komponenten H, F, I und R enthält.
| Quelldatei | FHIR_HFIR_01_SimpleBundle_ttl.txt |
|---|---|
| Serie | 2 |
| Kategorien | fhir, ttl, hfir, bundle |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | fc3877c56d8c73e867dded8e9913f69e4fe43ec1f2aacbd3514e7159a9d2ffae |
Erwartetes Ergebnis
Valides FHIR R4 RDF/Turtle Bundle mit genau einem Patient, genau einer Observation und genau vier HFIR Komponenten H, F, I und R.
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe die angeforderte FHIR R4 Serialisierung, die exakten Ressourcenanzahlen und die vollständige HFIR Abbildung in Observation.component.
Muss erfüllt sein
- Die Ausgabe besteht ausschließlich aus syntaktisch gültigem Turtle und lässt sich als RDF Graph parsen. Markdown Codezäune dürfen für die Prüfung entfernt werden, zusätzliche Prosa ist nicht zulässig.
- Der Präfix fhir ist auf http://hl7.org/fhir/ gebunden.
- Genau ein Knoten ist als fhir:Bundle typisiert und mit fhir:nodeRole fhir:treeRoot als Wurzelressource gekennzeichnet.
- Patient und Observation sind als fhir:Patient und fhir:Observation Ressourcen modelliert und über die FHIR Bundle Struktur erreichbar.
- FHIR Primitive verwenden die R4 RDF Modellierung mit fhir:value. Wiederholte Elemente besitzen konsistente, lückenlose fhir:index Werte ab 0.
- Die Observation besitzt gültige FHIR RDF Aussagen für status und code. Die subject Reference enthält eine konsistente fhir:Reference.reference und sinnvollerweise einen auflösbaren fhir:link zum Patient.
- Das Bundle enthält genau zwei entry Ressourcen: genau einen Patient und genau eine Observation.
- Die Observation enthält genau vier component Einträge, die eindeutig H, F, I und R bezeichnen, jeweils genau einmal.
- Jede der vier Komponenten besitzt einen nicht leeren valueString beziehungsweise die formatkonforme FHIR RDF Darstellung dieses valueString.
Fehlerkriterien
- Die Ausgabe ist kein parsebares Turtle, bindet fhir falsch oder enthält Prosa außerhalb der RDF Serialisierung.
- Der Graph verwendet nur frei erfundene Prädikate statt der FHIR R4 RDF Eigenschaften.
- Mehr als ein Knoten ist als treeRoot markiert oder die Wurzel ist kein Bundle.
- Primitive Werte werden nicht mit fhir:value dargestellt oder Wiederholungen haben doppelte beziehungsweise lückenhafte fhir:index Werte.
- Patient, Observation, status, code oder die auf den Patient gerichtete subject Reference fehlt.
- Das Bundle enthält zusätzliche oder fehlende Patient beziehungsweise Observation Ressourcen.
- Eine der Komponenten H, F, I oder R fehlt, ist doppelt vorhanden oder besitzt keinen nicht leeren Stringwert.
- HFIR wird nur als unstrukturierter Gesamttext statt als vier Observation.component Einträge ausgegeben.
- Der Graph enthält neben den geforderten Patient und Observation Ressourcen zusätzliche klinische Bundle Ressourcen, obwohl der Test genau diese beiden Ressourcen verlangt.
Judge-Hinweis: Bewerte die offizielle FHIR R4 RDF Darstellung. Turtle ist ein RDF Graph, doch die Reihenfolge wiederholter FHIR Elemente wird durch fhir:index festgelegt. Für die klinischen HFIR Texte zählt semantische Plausibilität, nicht eine bestimmte Wortwahl.
Prompt
Erstelle ein FHIR R4 Bundle im ttl-Format. Es soll genau einen Patient und eine Observation enthalten. Die Observation soll vier HFIR-Komponenten enthalten namens H, F, I und R. Hinterlege zu jeder Komponente einen kurzen medizinischen Inhalt. Verwende gültige FHIR-Attribute und gebe nur das vollständige Bundle zurück.
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.





