KI & XML / LLM-Testsuite / Resultate / Testcases / FHIR_HFIR_01_SimpleBundle

FHIR_HFIR_01_SimpleBundle im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob das Modell ein einfaches FHIR R4 Bundle mit genau einem Patient und einer Observation erzeugen kann, wobei die Observation vier HFIR Komponenten H, F, I und R enthält.

Quelldatei	FHIR_HFIR_01_SimpleBundle.txt
Serie	2
Kategorien	fhir, xml, hfir, bundle
Bewertung	LLM-Judge
Prompt SHA-256	0b2228c030899c2d83c3bb186c0b1be9bd70c386c0667d42acb7782eea596d66

LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

Valides FHIR R4 XML Bundle mit genau einem Patient, genau einer Observation und genau vier HFIR Komponenten H, F, I und R.

Erwartung im Katalog	nein
Korrektes Ergebnis im Katalog	ja

Judge-Anweisung

Prüfe die angeforderte FHIR R4 Serialisierung, die exakten Ressourcenanzahlen und die vollständige HFIR Abbildung in Observation.component.

Muss erfüllt sein

Die Ausgabe besteht ausschließlich aus wohlgeformtem XML. Markdown Codezäune dürfen für die Prüfung entfernt werden, zusätzliche Prosa ist nicht zulässig.
Das Wurzelelement ist Bundle im FHIR Namensraum http://hl7.org/fhir.
FHIR Primitive werden XML konform über value Attribute modelliert und nicht als unstrukturierter Elementtext.
Patient und Observation stehen als Ressourcen in Bundle.entry/resource. Die Observation besitzt mindestens status und code.
Observation.subject verweist auf den im Bundle enthaltenen Patient und die Referenz lässt sich innerhalb des Bundles auflösen.
Das Bundle enthält genau zwei entry Ressourcen: genau einen Patient und genau eine Observation.
Die Observation enthält genau vier component Einträge, die eindeutig H, F, I und R bezeichnen, jeweils genau einmal.
Jede der vier Komponenten besitzt einen nicht leeren valueString beziehungsweise die formatkonforme FHIR RDF Darstellung dieses valueString.

Fehlerkriterien

Das XML ist nicht wohlgeformt, verwendet einen falschen oder keinen FHIR Namensraum oder enthält Prosa außerhalb der Serialisierung.
FHIR Primitive sind überwiegend als Textinhalt statt über value Attribute dargestellt.
Patient oder Observation ist nicht korrekt als Bundle Ressource modelliert.
Observation.status, Observation.code oder die konsistente Patient Referenz fehlt.
Das Bundle enthält zusätzliche oder fehlende Patient beziehungsweise Observation Ressourcen.
Eine der Komponenten H, F, I oder R fehlt, ist doppelt vorhanden oder besitzt keinen nicht leeren Stringwert.
HFIR wird nur als unstrukturierter Gesamttext statt als vier Observation.component Einträge ausgegeben.

Judge-Hinweis: Bewerte gegen die FHIR R4 XML Repräsentationsregeln. Ein XML Dokument mit nur ähnlich klingenden Elementnamen ist kein FHIR Bundle. Für die klinischen HFIR Texte zählt semantische Plausibilität, nicht eine bestimmte Wortwahl.

Prompt

Erstelle ein FHIR R4 Bundle im XML-Format.
Es soll genau einen Patient und eine Observation enthalten.
Die Observation soll vier HFIR-Komponenten enthalten namens H, F, I und R.
Hinterlege zu jeder Komponente einen kurzen medizinischen Inhalt.
Verwende gültige FHIR-Attribute und gebe nur das vollständige Bundle zurück.

756 Runs 740 bewertet 18.9 % Score 11.5 % exakt korrekt

Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Modell Kategorie Zugangsweg