FHIR_HFIR_07_Gastrointestinal im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob das Modell ein FHIR Bundle für eine HFIR Anamnese zur gastrointestinalen Symptomatik mit einem Patienten und einer Observation erzeugen kann, inklusive korrektem Namespace und Bundle ID.

QuelldateiFHIR_HFIR_07_Gastrointestinal.txt
Serie2
Kategorienfhir, xml, hfir, bundle
BewertungLLM-Judge
Prompt SHA-25637573466b53ba98fa43760866a5f17c1ffede5ff0e4c17efb92315c0b31423aa
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

Valides FHIR R4 XML Bundle mit eindeutiger Bundle id, Patient, gastrointestinaler Observation und den Komponenten H, F, I und R in dieser Reihenfolge.

Erwartung im Katalognein
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Prüfe Bundle Identität, formatgerechte FHIR Namensraumbehandlung, den gastrointestinalen Bezug und die Reihenfolge der vier HFIR Komponenten.

Muss erfüllt sein

  • Die Ausgabe besteht ausschließlich aus wohlgeformtem XML. Markdown Codezäune dürfen für die Prüfung entfernt werden, zusätzliche Prosa ist nicht zulässig.
  • Das Wurzelelement ist Bundle im FHIR Namensraum http://hl7.org/fhir.
  • FHIR Primitive werden XML konform über value Attribute modelliert und nicht als unstrukturierter Elementtext.
  • Patient und Observation stehen als Ressourcen in Bundle.entry/resource. Die Observation besitzt mindestens status und code.
  • Observation.subject verweist auf den im Bundle enthaltenen Patient und die Referenz lässt sich innerhalb des Bundles auflösen.
  • Bundle.id ist vorhanden, nicht leer und ein syntaktisch gültiger FHIR id Wert.
  • Das Bundle enthält einen Patient und eine mit ihm verknüpfte Observation.
  • Observation.code oder Observation.code.text kennzeichnet eine gastrointestinale Symptomatik beziehungsweise eine semantisch eindeutige gleichwertige Formulierung.
  • Die Observation enthält genau vier component Einträge in der Reihenfolge H, F, I, R.
  • Jede Komponente besitzt einen nicht leeren valueString beziehungsweise die formatkonforme FHIR RDF Darstellung dieses valueString.
  • Der FHIR XML Namensraum ist am Bundle beziehungsweise durch eine semantisch identische Präfixbindung korrekt deklariert.

Fehlerkriterien

  • Das XML ist nicht wohlgeformt, verwendet einen falschen oder keinen FHIR Namensraum oder enthält Prosa außerhalb der Serialisierung.
  • FHIR Primitive sind überwiegend als Textinhalt statt über value Attribute dargestellt.
  • Patient oder Observation ist nicht korrekt als Bundle Ressource modelliert.
  • Observation.status, Observation.code oder die konsistente Patient Referenz fehlt.
  • Bundle.id fehlt oder ist kein gültiger FHIR id Wert.
  • Der gastrointestinale Bezug fehlt oder die Observation beschreibt ein anderes klinisches Thema.
  • Die Komponenten sind unvollständig, doppelt, in anderer Reihenfolge oder nicht als vier getrennte components modelliert.

Judge-Hinweis: Bewerte gegen die FHIR R4 XML Repräsentationsregeln. Ein XML Dokument mit nur ähnlich klingenden Elementnamen ist kein FHIR Bundle. Für die klinischen HFIR Texte zählt semantische Plausibilität, nicht eine bestimmte Wortwahl.

Prompt

Baue ein FHIR Bundle als XML, das eine HFIR-Anamnese zur gastrointestinalen Symptomatik enthält.
Es soll einen Patient und eine Observation enthalten.
Verwende das korrekte FHIR-Namespace und eine eindeutige Bundle-ID.
Füge die HFIR-Teile H, F, I, R in der richtigen Reihenfolge ein.
725 Runs 713 bewertet 18.0 % Score 10.4 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am