FHIR_HFIR_01_SimpleBundle_json im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob das Modell ein einfaches FHIR R4 Bundle mit genau einem Patient und einer Observation erzeugen kann, wobei die Observation vier HFIR Komponenten H, F, I und R enthält.

QuelldateiFHIR_HFIR_01_SimpleBundle_json.txt
Serie2
Kategorienfhir, json, hfir, bundle
BewertungLLM-Judge
Prompt SHA-256803ac05a6abc70bdfbb7717421c49eda0aa5a7545a97d0a9931035c17d9c6173
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

Valides FHIR R4 JSON Bundle mit genau einem Patient, genau einer Observation und genau vier HFIR Komponenten H, F, I und R.

Erwartung im Katalognein
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Prüfe die angeforderte FHIR R4 Serialisierung, die exakten Ressourcenanzahlen und die vollständige HFIR Abbildung in Observation.component.

Muss erfüllt sein

  • Die Ausgabe besteht ausschließlich aus einem syntaktisch gültigen JSON Objekt. Markdown Codezäune dürfen für die Prüfung entfernt werden, zusätzliche Prosa, Kommentare oder nachgestellte Kommata sind nicht zulässig.
  • Das Wurzelobjekt enthält resourceType mit dem Wert Bundle.
  • Bundle.entry ist ein Array, dessen resource Objekte die korrekten resourceType Werte Patient und Observation tragen.
  • FHIR Primitive werden als JSON Werte mit korrektem Datentyp modelliert. XML Attribute oder XML Namensraumdeklarationen dürfen nicht nachgeahmt werden.
  • Die Observation besitzt mindestens status und code. Observation.subject.reference verweist konsistent auf den Patient im Bundle.
  • Das Bundle enthält genau zwei entry Ressourcen: genau einen Patient und genau eine Observation.
  • Die Observation enthält genau vier component Einträge, die eindeutig H, F, I und R bezeichnen, jeweils genau einmal.
  • Jede der vier Komponenten besitzt einen nicht leeren valueString beziehungsweise die formatkonforme FHIR RDF Darstellung dieses valueString.

Fehlerkriterien

  • Die Ausgabe ist kein parsebares JSON Objekt oder enthält Prosa beziehungsweise Kommentare außerhalb des JSON.
  • resourceType Bundle fehlt oder Patient und Observation sind nicht in entry[].resource modelliert.
  • XML typische value Attribute, xmlns Felder als vermeintliche Pflichtstruktur oder andere Mischsyntax wird verwendet.
  • Observation.status, Observation.code oder die konsistente Patient Referenz fehlt.
  • Das Bundle enthält zusätzliche oder fehlende Patient beziehungsweise Observation Ressourcen.
  • Eine der Komponenten H, F, I oder R fehlt, ist doppelt vorhanden oder besitzt keinen nicht leeren Stringwert.
  • HFIR wird nur als unstrukturierter Gesamttext statt als vier Observation.component Einträge ausgegeben.

Judge-Hinweis: FHIR JSON besitzt keinen XML Namensraum. Ein fehlendes xmlns Feld ist daher niemals ein Fehler. Entscheidend ist die gültige FHIR R4 JSON Struktur. Für die klinischen HFIR Texte zählt semantische Plausibilität, nicht eine bestimmte Wortwahl.

Prompt

Erstelle ein FHIR R4 Bundle im json-Format.
Es soll genau einen Patient und eine Observation enthalten.
Die Observation soll vier HFIR-Komponenten enthalten namens H, F, I und R.
Hinterlege zu jeder Komponente einen kurzen medizinischen Inhalt.
Verwende gültige FHIR-Attribute und gebe nur das vollständige Bundle zurück.
755 Runs 739 bewertet 27.9 % Score 16.5 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am