FHIR_HFIR_06_Neurologie_ttl im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob das Modell ein vollständiges FHIR Bundle für eine neurologische HFIR Anamnese erzeugen kann, mit gültigen IDs, korrektem Observation.status und Category Coding.

QuelldateiFHIR_HFIR_06_Neurologie_ttl.txt
Serie2
Kategorienfhir, ttl, hfir, bundle
BewertungLLM-Judge
Prompt SHA-256aa0ee008c0fc843df5987f2647a7cbc79e2dcf16b0b7b5a933806562b76f3f4d
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

Valides FHIR R4 RDF/Turtle Bundle für eine neurologische HFIR Anamnese mit gültigen IDs, passendem Observation.status, offiziellem Category Coding und HFIR ausschließlich in Observation.component.

Erwartung im Katalognein
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Prüfe gültige Ressourcen IDs, Observation.status und category sowie die ausschließlich komponentenbasierte neurologische HFIR Modellierung.

Muss erfüllt sein

  • Die Ausgabe besteht ausschließlich aus syntaktisch gültigem Turtle und lässt sich als RDF Graph parsen. Markdown Codezäune dürfen für die Prüfung entfernt werden, zusätzliche Prosa ist nicht zulässig.
  • Der Präfix fhir ist auf http://hl7.org/fhir/ gebunden.
  • Genau ein Knoten ist als fhir:Bundle typisiert und mit fhir:nodeRole fhir:treeRoot als Wurzelressource gekennzeichnet.
  • Patient und Observation sind als fhir:Patient und fhir:Observation Ressourcen modelliert und über die FHIR Bundle Struktur erreichbar.
  • FHIR Primitive verwenden die R4 RDF Modellierung mit fhir:value. Wiederholte Elemente besitzen konsistente, lückenlose fhir:index Werte ab 0.
  • Die Observation besitzt gültige FHIR RDF Aussagen für status und code. Die subject Reference enthält eine konsistente fhir:Reference.reference und sinnvollerweise einen auflösbaren fhir:link zum Patient.
  • Bundle, Patient und Observation besitzen jeweils einen nicht leeren, syntaktisch gültigen und innerhalb der Ausgabe eindeutigen FHIR id Wert.
  • Observation.status ist ein gültiger FHIR R4 ObservationStatus Code und für eine dokumentierte Anamnese semantisch passend, typischerweise final.
  • Observation.category enthält mindestens ein Coding mit dem System http://terminology.hl7.org/CodeSystem/observation-category und einem nicht leeren, plausiblen Code.
  • Observation.code oder Observation.code.text kennzeichnet eine neurologische Anamnese beziehungsweise ein semantisch gleichwertiges neurologisches Thema.
  • HFIR ist ausschließlich in genau vier Observation.component Einträgen H, F, I und R mit nicht leeren valueString Werten modelliert.

Fehlerkriterien

  • Die Ausgabe ist kein parsebares Turtle, bindet fhir falsch oder enthält Prosa außerhalb der RDF Serialisierung.
  • Der Graph verwendet nur frei erfundene Prädikate statt der FHIR R4 RDF Eigenschaften.
  • Mehr als ein Knoten ist als treeRoot markiert oder die Wurzel ist kein Bundle.
  • Primitive Werte werden nicht mit fhir:value dargestellt oder Wiederholungen haben doppelte beziehungsweise lückenhafte fhir:index Werte.
  • Patient, Observation, status, code oder die auf den Patient gerichtete subject Reference fehlt.
  • Eine ID fehlt, ist syntaktisch ungültig oder wird widersprüchlich wiederverwendet.
  • Observation.status fehlt oder enthält keinen gültigen FHIR R4 Code.
  • Das Category Coding fehlt, verwendet kein offizielles observation-category System oder besitzt keinen Code.
  • HFIR wird außerhalb der components als primäre oder parallele Struktur abgelegt.
  • Der neurologische Bezug fehlt.

Judge-Hinweis: Bewerte die offizielle FHIR R4 RDF Darstellung. Turtle ist ein RDF Graph, doch die Reihenfolge wiederholter FHIR Elemente wird durch fhir:index festgelegt. Für die klinischen HFIR Texte zählt semantische Plausibilität, nicht eine bestimmte Wortwahl.

Prompt

Erstelle ein vollständiges FHIR Bundle in ttl zur Abbildung einer HFIR-Anamnese im Bereich Neurologie.
Nutze gültige FHIR IDs, ein korrektes Observation.status und ein observation-category coding.
Die HFIR-Information muss ausschließlich in Observation.component abgelegt sein.
Gib nur das ttl zurück.
710 Runs 693 bewertet 11.9 % Score 5.2 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am