KI & XML / LLM-Testsuite / Resultate / Testcases / FHIR_HFIR_04_AkutAtemnot

FHIR_HFIR_04_AkutAtemnot im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob das Modell ein FHIR Bundle mit einer Anamnese zur akuten Atemnot erzeugen kann, bei dem die HFIR Information strukturiert in vier Komponenten hinterlegt ist.

Quelldatei	FHIR_HFIR_04_AkutAtemnot.txt
Serie	2
Kategorien	fhir, xml, hfir, bundle
Bewertung	LLM-Judge
Prompt SHA-256	08a7ff38239a332bdaaf474eda9f6ce469a5fcc50c5560b6d4054cb14aad756f

LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

Valides FHIR R4 XML Bundle mit Patient und Observation zur akuten Atemnot sowie vier klinisch plausiblen HFIR valueString Komponenten.

Erwartung im Katalog	nein
Korrektes Ergebnis im Katalog	ja

Judge-Anweisung

Prüfe neben der formalen FHIR R4 Struktur, ob die Observation klar akute Atemnot dokumentiert und H, F, I und R getrennt und klinisch plausibel ausgefüllt sind.

Muss erfüllt sein

Die Ausgabe besteht ausschließlich aus wohlgeformtem XML. Markdown Codezäune dürfen für die Prüfung entfernt werden, zusätzliche Prosa ist nicht zulässig.
Das Wurzelelement ist Bundle im FHIR Namensraum http://hl7.org/fhir.
FHIR Primitive werden XML konform über value Attribute modelliert und nicht als unstrukturierter Elementtext.
Patient und Observation stehen als Ressourcen in Bundle.entry/resource. Die Observation besitzt mindestens status und code.
Observation.subject verweist auf den im Bundle enthaltenen Patient und die Referenz lässt sich innerhalb des Bundles auflösen.
Das Bundle enthält einen Patient und eine mit ihm verknüpfte Observation.
Observation.code oder Observation.code.text kennzeichnet das Thema akute Atemnot beziehungsweise eine semantisch eindeutige gleichwertige Formulierung.
Die Observation enthält genau vier component Einträge H, F, I und R mit jeweils nicht leerem valueString beziehungsweise formatkonformer FHIR RDF Darstellung.
Die vier Texte sind kurz, klinisch plausibel und beziehen sich auf eine akute Atemnot Anamnese. Es wird keine bestimmte wörtliche Formulierung verlangt.

Fehlerkriterien

Das XML ist nicht wohlgeformt, verwendet einen falschen oder keinen FHIR Namensraum oder enthält Prosa außerhalb der Serialisierung.
FHIR Primitive sind überwiegend als Textinhalt statt über value Attribute dargestellt.
Patient oder Observation ist nicht korrekt als Bundle Ressource modelliert.
Observation.status, Observation.code oder die konsistente Patient Referenz fehlt.
Die Observation betrifft erkennbar ein anderes klinisches Thema oder enthält nur generische Platzhalter.
HFIR ist nur als Fließtext oder in weniger beziehungsweise mehr als vier Komponenten modelliert.
Mindestens einer der vier klinischen Werte ist leer oder widerspricht offensichtlich dem Szenario.

Judge-Hinweis: Bewerte gegen die FHIR R4 XML Repräsentationsregeln. Ein XML Dokument mit nur ähnlich klingenden Elementnamen ist kein FHIR Bundle. Für die klinischen HFIR Texte zählt semantische Plausibilität, nicht eine bestimmte Wortwahl.

Prompt

Erstelle ein FHIR Bundle im XML-Format, das eine Anamnese zur akuten Atemnot enthält.
Die Observation soll vier strukturierte HFIR-Komponenten enthalten.
Verwende in den Komponenten kurze klinische Angaben.
Achte auf korrekte Namespaces und gültige FHIR-Struktur.
Gib ausschließlich das Bundle aus.

734 Runs 721 bewertet 8.3 % Score 2.1 % exakt korrekt

Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Modell Kategorie Zugangsweg