FHIR_HFIR_05_KardioAnamnese_ttl im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob das Modell ein FHIR R4 Bundle für eine kardiologische HFIR Anamnese korrekt erzeugen kann, inklusive männlichem 60-jährigen Patienten und Observation mit HFIR Komponenten als valueString.

QuelldateiFHIR_HFIR_05_KardioAnamnese_ttl.txt
Serie2
Kategorienfhir, ttl, hfir, bundle
BewertungLLM-Judge
Prompt SHA-2563966b42f8bf8c91318ae563eaa935d5a34eac018ba37327ae4eed674a8a767a2
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

Valides FHIR R4 RDF/Turtle Bundle für eine kardiologische HFIR Anamnese mit männlichem ungefähr 60 jährigem Patient und vier valueString Komponenten.

Erwartung im Katalognein
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Prüfe Patientengeschlecht und plausibles Alter, den kardiologischen Bezug sowie die korrekte HFIR Komponentenstruktur.

Muss erfüllt sein

  • Die Ausgabe besteht ausschließlich aus syntaktisch gültigem Turtle und lässt sich als RDF Graph parsen. Markdown Codezäune dürfen für die Prüfung entfernt werden, zusätzliche Prosa ist nicht zulässig.
  • Der Präfix fhir ist auf http://hl7.org/fhir/ gebunden.
  • Genau ein Knoten ist als fhir:Bundle typisiert und mit fhir:nodeRole fhir:treeRoot als Wurzelressource gekennzeichnet.
  • Patient und Observation sind als fhir:Patient und fhir:Observation Ressourcen modelliert und über die FHIR Bundle Struktur erreichbar.
  • FHIR Primitive verwenden die R4 RDF Modellierung mit fhir:value. Wiederholte Elemente besitzen konsistente, lückenlose fhir:index Werte ab 0.
  • Die Observation besitzt gültige FHIR RDF Aussagen für status und code. Die subject Reference enthält eine konsistente fhir:Reference.reference und sinnvollerweise einen auflösbaren fhir:link zum Patient.
  • Patient.gender ist male.
  • Das Alter des Patienten ist anhand von birthDate und einem vorhandenen Bezugsdatum ungefähr 60 Jahre, sinnvollerweise 59 bis 61 Jahre. Fehlt ein ausdrückliches Bezugsdatum, muss die birthDate zumindest plausibel einen ungefähr 60 jährigen Patienten darstellen.
  • Observation.code oder Observation.code.text kennzeichnet eine kardiologische Anamnese beziehungsweise ein semantisch gleichwertiges kardiologisches Thema.
  • Die Observation enthält genau vier component Einträge H, F, I und R, jeweils mit einem nicht leeren valueString beziehungsweise formatkonformer FHIR RDF Darstellung.
  • Die vier Inhalte sind klinisch plausibel und auf die kardiologische Anamnese bezogen.

Fehlerkriterien

  • Die Ausgabe ist kein parsebares Turtle, bindet fhir falsch oder enthält Prosa außerhalb der RDF Serialisierung.
  • Der Graph verwendet nur frei erfundene Prädikate statt der FHIR R4 RDF Eigenschaften.
  • Mehr als ein Knoten ist als treeRoot markiert oder die Wurzel ist kein Bundle.
  • Primitive Werte werden nicht mit fhir:value dargestellt oder Wiederholungen haben doppelte beziehungsweise lückenhafte fhir:index Werte.
  • Patient, Observation, status, code oder die auf den Patient gerichtete subject Reference fehlt.
  • gender ist nicht male oder das dokumentierte Alter ist deutlich nicht ungefähr 60 Jahre.
  • Der kardiologische Bezug fehlt oder die Inhalte betreffen erkennbar ein anderes Fachgebiet.
  • Eine der vier HFIR Komponenten fehlt, ist doppelt oder verwendet keinen Stringwert.

Judge-Hinweis: Bewerte die offizielle FHIR R4 RDF Darstellung. Turtle ist ein RDF Graph, doch die Reihenfolge wiederholter FHIR Elemente wird durch fhir:index festgelegt. Für die klinischen HFIR Texte zählt semantische Plausibilität, nicht eine bestimmte Wortwahl.

Prompt

Generiere ein FHIR R4 Bundle in ttl.
Der Patient ist männlich und 60 Jahre alt.
Die Observation repräsentiert eine HFIR-Struktur zur kardiologischen Anamnese.
Jede Komponente H, F, I, R soll ein valueString haben.
Das Bundle muss einwandfrei parsebar sein.
Keine zusätzlichen Erklärungen ausgeben.
714 Runs 701 bewertet 16.8 % Score 7.1 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am