FHIR_HFIR_04_AkutAtemnot_json im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob das Modell ein FHIR Bundle mit einer Anamnese zur akuten Atemnot erzeugen kann, bei dem die HFIR Information strukturiert in vier Komponenten hinterlegt ist.
| Quelldatei | FHIR_HFIR_04_AkutAtemnot_json.txt |
|---|---|
| Serie | 2 |
| Kategorien | fhir, json, hfir, bundle |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | 28e9b5dc264e81c4d6be2c345123299ef71293b1d33826a8da701ffb7440c2fe |
Erwartetes Ergebnis
Valides FHIR R4 JSON Bundle mit Patient und Observation zur akuten Atemnot sowie vier klinisch plausiblen HFIR valueString Komponenten.
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe neben der formalen FHIR R4 Struktur, ob die Observation klar akute Atemnot dokumentiert und H, F, I und R getrennt und klinisch plausibel ausgefüllt sind.
Muss erfüllt sein
- Die Ausgabe besteht ausschließlich aus einem syntaktisch gültigen JSON Objekt. Markdown Codezäune dürfen für die Prüfung entfernt werden, zusätzliche Prosa, Kommentare oder nachgestellte Kommata sind nicht zulässig.
- Das Wurzelobjekt enthält resourceType mit dem Wert Bundle.
- Bundle.entry ist ein Array, dessen resource Objekte die korrekten resourceType Werte Patient und Observation tragen.
- FHIR Primitive werden als JSON Werte mit korrektem Datentyp modelliert. XML Attribute oder XML Namensraumdeklarationen dürfen nicht nachgeahmt werden.
- Die Observation besitzt mindestens status und code. Observation.subject.reference verweist konsistent auf den Patient im Bundle.
- Das Bundle enthält einen Patient und eine mit ihm verknüpfte Observation.
- Observation.code oder Observation.code.text kennzeichnet das Thema akute Atemnot beziehungsweise eine semantisch eindeutige gleichwertige Formulierung.
- Die Observation enthält genau vier component Einträge H, F, I und R mit jeweils nicht leerem valueString beziehungsweise formatkonformer FHIR RDF Darstellung.
- Die vier Texte sind kurz, klinisch plausibel und beziehen sich auf eine akute Atemnot Anamnese. Es wird keine bestimmte wörtliche Formulierung verlangt.
Fehlerkriterien
- Die Ausgabe ist kein parsebares JSON Objekt oder enthält Prosa beziehungsweise Kommentare außerhalb des JSON.
- resourceType Bundle fehlt oder Patient und Observation sind nicht in entry[].resource modelliert.
- XML typische value Attribute, xmlns Felder als vermeintliche Pflichtstruktur oder andere Mischsyntax wird verwendet.
- Observation.status, Observation.code oder die konsistente Patient Referenz fehlt.
- Die Observation betrifft erkennbar ein anderes klinisches Thema oder enthält nur generische Platzhalter.
- HFIR ist nur als Fließtext oder in weniger beziehungsweise mehr als vier Komponenten modelliert.
- Mindestens einer der vier klinischen Werte ist leer oder widerspricht offensichtlich dem Szenario.
Judge-Hinweis: FHIR JSON besitzt keinen XML Namensraum. Ein fehlendes xmlns Feld ist daher niemals ein Fehler. Entscheidend ist die gültige FHIR R4 JSON Struktur. Für die klinischen HFIR Texte zählt semantische Plausibilität, nicht eine bestimmte Wortwahl.
Prompt
Erstelle ein FHIR Bundle im json-Format, das eine Anamnese zur akuten Atemnot enthält. Die Observation soll vier strukturierte HFIR-Komponenten enthalten. Verwende in den Komponenten kurze klinische Angaben. Achte auf korrekte Namespaces und gültige FHIR-Struktur. Gib ausschließlich das Bundle aus.
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.