FHIR_HFIR_01_SimpleBundle_ttl im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob das Modell ein einfaches FHIR R4 Bundle mit genau einem Patient und einer Observation erzeugen kann, wobei die Observation vier HFIR Komponenten H, F, I und R enthält.

QuelldateiFHIR_HFIR_01_SimpleBundle_ttl.txt
Serie2
Kategorienfhir, ttl, hfir, bundle
BewertungLLM-Judge
Prompt SHA-256fc3877c56d8c73e867dded8e9913f69e4fe43ec1f2aacbd3514e7159a9d2ffae
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

Valides FHIR R4 RDF/Turtle Bundle mit genau einem Patient, genau einer Observation und genau vier HFIR Komponenten H, F, I und R.

Erwartung im Katalognein
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Prüfe die angeforderte FHIR R4 Serialisierung, die exakten Ressourcenanzahlen und die vollständige HFIR Abbildung in Observation.component.

Muss erfüllt sein

  • Die Ausgabe besteht ausschließlich aus syntaktisch gültigem Turtle und lässt sich als RDF Graph parsen. Markdown Codezäune dürfen für die Prüfung entfernt werden, zusätzliche Prosa ist nicht zulässig.
  • Der Präfix fhir ist auf http://hl7.org/fhir/ gebunden.
  • Genau ein Knoten ist als fhir:Bundle typisiert und mit fhir:nodeRole fhir:treeRoot als Wurzelressource gekennzeichnet.
  • Patient und Observation sind als fhir:Patient und fhir:Observation Ressourcen modelliert und über die FHIR Bundle Struktur erreichbar.
  • FHIR Primitive verwenden die R4 RDF Modellierung mit fhir:value. Wiederholte Elemente besitzen konsistente, lückenlose fhir:index Werte ab 0.
  • Die Observation besitzt gültige FHIR RDF Aussagen für status und code. Die subject Reference enthält eine konsistente fhir:Reference.reference und sinnvollerweise einen auflösbaren fhir:link zum Patient.
  • Das Bundle enthält genau zwei entry Ressourcen: genau einen Patient und genau eine Observation.
  • Die Observation enthält genau vier component Einträge, die eindeutig H, F, I und R bezeichnen, jeweils genau einmal.
  • Jede der vier Komponenten besitzt einen nicht leeren valueString beziehungsweise die formatkonforme FHIR RDF Darstellung dieses valueString.

Fehlerkriterien

  • Die Ausgabe ist kein parsebares Turtle, bindet fhir falsch oder enthält Prosa außerhalb der RDF Serialisierung.
  • Der Graph verwendet nur frei erfundene Prädikate statt der FHIR R4 RDF Eigenschaften.
  • Mehr als ein Knoten ist als treeRoot markiert oder die Wurzel ist kein Bundle.
  • Primitive Werte werden nicht mit fhir:value dargestellt oder Wiederholungen haben doppelte beziehungsweise lückenhafte fhir:index Werte.
  • Patient, Observation, status, code oder die auf den Patient gerichtete subject Reference fehlt.
  • Das Bundle enthält zusätzliche oder fehlende Patient beziehungsweise Observation Ressourcen.
  • Eine der Komponenten H, F, I oder R fehlt, ist doppelt vorhanden oder besitzt keinen nicht leeren Stringwert.
  • HFIR wird nur als unstrukturierter Gesamttext statt als vier Observation.component Einträge ausgegeben.
  • Der Graph enthält neben den geforderten Patient und Observation Ressourcen zusätzliche klinische Bundle Ressourcen, obwohl der Test genau diese beiden Ressourcen verlangt.

Judge-Hinweis: Bewerte die offizielle FHIR R4 RDF Darstellung. Turtle ist ein RDF Graph, doch die Reihenfolge wiederholter FHIR Elemente wird durch fhir:index festgelegt. Für die klinischen HFIR Texte zählt semantische Plausibilität, nicht eine bestimmte Wortwahl.

Prompt

Erstelle ein FHIR R4 Bundle im ttl-Format.
Es soll genau einen Patient und eine Observation enthalten.
Die Observation soll vier HFIR-Komponenten enthalten namens H, F, I und R.
Hinterlege zu jeder Komponente einen kurzen medizinischen Inhalt.
Verwende gültige FHIR-Attribute und gebe nur das vollständige Bundle zurück.
746 Runs 725 bewertet 16.6 % Score 8.3 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am