FHIR_HFIR_06_Neurologie im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob das Modell ein vollständiges FHIR Bundle für eine neurologische HFIR Anamnese erzeugen kann, mit gültigen IDs, korrektem Observation.status und Category Coding.
| Quelldatei | FHIR_HFIR_06_Neurologie.txt |
|---|---|
| Serie | 2 |
| Kategorien | fhir, xml, hfir, bundle |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | 2e68418e1ada612c32968846809323993a2852ad1ba4d556470d588c7e3c587f |
Erwartetes Ergebnis
Valides FHIR R4 XML Bundle für eine neurologische HFIR Anamnese mit gültigen IDs, passendem Observation.status, offiziellem Category Coding und HFIR ausschließlich in Observation.component.
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe gültige Ressourcen IDs, Observation.status und category sowie die ausschließlich komponentenbasierte neurologische HFIR Modellierung.
Muss erfüllt sein
- Die Ausgabe besteht ausschließlich aus wohlgeformtem XML. Markdown Codezäune dürfen für die Prüfung entfernt werden, zusätzliche Prosa ist nicht zulässig.
- Das Wurzelelement ist Bundle im FHIR Namensraum http://hl7.org/fhir.
- FHIR Primitive werden XML konform über value Attribute modelliert und nicht als unstrukturierter Elementtext.
- Patient und Observation stehen als Ressourcen in Bundle.entry/resource. Die Observation besitzt mindestens status und code.
- Observation.subject verweist auf den im Bundle enthaltenen Patient und die Referenz lässt sich innerhalb des Bundles auflösen.
- Bundle, Patient und Observation besitzen jeweils einen nicht leeren, syntaktisch gültigen und innerhalb der Ausgabe eindeutigen FHIR id Wert.
- Observation.status ist ein gültiger FHIR R4 ObservationStatus Code und für eine dokumentierte Anamnese semantisch passend, typischerweise final.
- Observation.category enthält mindestens ein Coding mit dem System http://terminology.hl7.org/CodeSystem/observation-category und einem nicht leeren, plausiblen Code.
- Observation.code oder Observation.code.text kennzeichnet eine neurologische Anamnese beziehungsweise ein semantisch gleichwertiges neurologisches Thema.
- HFIR ist ausschließlich in genau vier Observation.component Einträgen H, F, I und R mit nicht leeren valueString Werten modelliert.
Fehlerkriterien
- Das XML ist nicht wohlgeformt, verwendet einen falschen oder keinen FHIR Namensraum oder enthält Prosa außerhalb der Serialisierung.
- FHIR Primitive sind überwiegend als Textinhalt statt über value Attribute dargestellt.
- Patient oder Observation ist nicht korrekt als Bundle Ressource modelliert.
- Observation.status, Observation.code oder die konsistente Patient Referenz fehlt.
- Eine ID fehlt, ist syntaktisch ungültig oder wird widersprüchlich wiederverwendet.
- Observation.status fehlt oder enthält keinen gültigen FHIR R4 Code.
- Das Category Coding fehlt, verwendet kein offizielles observation-category System oder besitzt keinen Code.
- HFIR wird außerhalb der components als primäre oder parallele Struktur abgelegt.
- Der neurologische Bezug fehlt.
Judge-Hinweis: Bewerte gegen die FHIR R4 XML Repräsentationsregeln. Ein XML Dokument mit nur ähnlich klingenden Elementnamen ist kein FHIR Bundle. Für die klinischen HFIR Texte zählt semantische Plausibilität, nicht eine bestimmte Wortwahl.
Prompt
Erstelle ein vollständiges FHIR Bundle in XML zur Abbildung einer HFIR-Anamnese im Bereich Neurologie. Nutze gültige FHIR IDs, ein korrektes Observation.status und ein observation-category coding. Die HFIR-Information muss ausschließlich in Observation.component abgelegt sein. Gib nur das XML zurück.
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.