FHIR_HFIR_02_BundleCollection_json im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob das Modell ein FHIR Bundle vom Typ collection erzeugen kann, mit einer Patient Ressource und einer Observation, in der HFIR als Observation.component mit valueString abgebildet ist.

QuelldateiFHIR_HFIR_02_BundleCollection_json.txt
Serie2
Kategorienfhir, json, hfir, bundle
BewertungLLM-Judge
Prompt SHA-256ad62618d05079ab141ef77a7258b0c1c76681dc20337061f48110bbf9e771fb9
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

Valides FHIR R4 JSON Bundle vom Typ collection mit Patient, Observation und vier ausschließlich als Observation.component modellierten HFIR valueString Komponenten.

Erwartung im Katalognein
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Prüfe Bundle.type collection, die Patient Observation Beziehung und die ausschließliche strukturierte HFIR Abbildung in vier Komponenten.

Muss erfüllt sein

  • Die Ausgabe besteht ausschließlich aus einem syntaktisch gültigen JSON Objekt. Markdown Codezäune dürfen für die Prüfung entfernt werden, zusätzliche Prosa, Kommentare oder nachgestellte Kommata sind nicht zulässig.
  • Das Wurzelobjekt enthält resourceType mit dem Wert Bundle.
  • Bundle.entry ist ein Array, dessen resource Objekte die korrekten resourceType Werte Patient und Observation tragen.
  • FHIR Primitive werden als JSON Werte mit korrektem Datentyp modelliert. XML Attribute oder XML Namensraumdeklarationen dürfen nicht nachgeahmt werden.
  • Die Observation besitzt mindestens status und code. Observation.subject.reference verweist konsistent auf den Patient im Bundle.
  • Bundle.type ist exakt collection.
  • Das Bundle enthält genau einen Patient und genau eine Observation.
  • Die HFIR Inhalte sind ausschließlich in genau vier Observation.component Einträgen H, F, I und R modelliert.
  • Jede HFIR Komponente verwendet valueString beziehungsweise dessen formatkonforme FHIR RDF Darstellung und enthält einen nicht leeren Wert.

Fehlerkriterien

  • Die Ausgabe ist kein parsebares JSON Objekt oder enthält Prosa beziehungsweise Kommentare außerhalb des JSON.
  • resourceType Bundle fehlt oder Patient und Observation sind nicht in entry[].resource modelliert.
  • XML typische value Attribute, xmlns Felder als vermeintliche Pflichtstruktur oder andere Mischsyntax wird verwendet.
  • Observation.status, Observation.code oder die konsistente Patient Referenz fehlt.
  • Bundle.type fehlt oder ist nicht collection.
  • HFIR wird zusätzlich oder ausschließlich als Observation.valueString, note, extension, narrative oder separate Ressource modelliert.
  • Eine HFIR Komponente verwendet einen anderen value Typ als valueString oder ist leer.

Judge-Hinweis: FHIR JSON besitzt keinen XML Namensraum. Ein fehlendes xmlns Feld ist daher niemals ein Fehler. Entscheidend ist die gültige FHIR R4 JSON Struktur. Für die klinischen HFIR Texte zählt semantische Plausibilität, nicht eine bestimmte Wortwahl.

Prompt

Baue ein FHIR Bundle als json mit type collection.
Erzeuge eine Patient-Ressource mit zufälliger ID.
Danach eine Observation, in der die HFIR-Elemente als Observation.component vorkommen.
Jeder Abschnitt H, F, I, R soll valueString nutzen.
Inhaltlich soll es eine typische Anamnese aus der Allgemeinmedizin sein.
Gib nur FHIR json aus.
741 Runs 727 bewertet 24.8 % Score 13.6 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am