FHIR_HFIR_07_Gastrointestinal_json im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob das Modell ein FHIR Bundle für eine HFIR Anamnese zur gastrointestinalen Symptomatik mit einem Patienten und einer Observation erzeugen kann, inklusive korrektem Namespace und Bundle ID.

QuelldateiFHIR_HFIR_07_Gastrointestinal_json.txt
Serie2
Kategorienfhir, json, hfir, bundle
BewertungLLM-Judge
Prompt SHA-25617c9f5b2cead5c0d785d8506b8312569f76a3e7d141a53a4aff8b1dded552d94
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

Valides FHIR R4 JSON Bundle mit eindeutiger Bundle id, Patient, gastrointestinaler Observation und den Komponenten H, F, I und R in dieser Reihenfolge.

Erwartung im Katalognein
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Prüfe Bundle Identität, formatgerechte FHIR Namensraumbehandlung, den gastrointestinalen Bezug und die Reihenfolge der vier HFIR Komponenten.

Muss erfüllt sein

  • Die Ausgabe besteht ausschließlich aus einem syntaktisch gültigen JSON Objekt. Markdown Codezäune dürfen für die Prüfung entfernt werden, zusätzliche Prosa, Kommentare oder nachgestellte Kommata sind nicht zulässig.
  • Das Wurzelobjekt enthält resourceType mit dem Wert Bundle.
  • Bundle.entry ist ein Array, dessen resource Objekte die korrekten resourceType Werte Patient und Observation tragen.
  • FHIR Primitive werden als JSON Werte mit korrektem Datentyp modelliert. XML Attribute oder XML Namensraumdeklarationen dürfen nicht nachgeahmt werden.
  • Die Observation besitzt mindestens status und code. Observation.subject.reference verweist konsistent auf den Patient im Bundle.
  • Bundle.id ist vorhanden, nicht leer und ein syntaktisch gültiger FHIR id Wert.
  • Das Bundle enthält einen Patient und eine mit ihm verknüpfte Observation.
  • Observation.code oder Observation.code.text kennzeichnet eine gastrointestinale Symptomatik beziehungsweise eine semantisch eindeutige gleichwertige Formulierung.
  • Die Observation enthält genau vier component Einträge in der Reihenfolge H, F, I, R.
  • Jede Komponente besitzt einen nicht leeren valueString beziehungsweise die formatkonforme FHIR RDF Darstellung dieses valueString.
  • Für JSON ist kein XML Namensraum erforderlich; die Reihenfolge ergibt sich aus dem component Array.

Fehlerkriterien

  • Die Ausgabe ist kein parsebares JSON Objekt oder enthält Prosa beziehungsweise Kommentare außerhalb des JSON.
  • resourceType Bundle fehlt oder Patient und Observation sind nicht in entry[].resource modelliert.
  • XML typische value Attribute, xmlns Felder als vermeintliche Pflichtstruktur oder andere Mischsyntax wird verwendet.
  • Observation.status, Observation.code oder die konsistente Patient Referenz fehlt.
  • Bundle.id fehlt oder ist kein gültiger FHIR id Wert.
  • Der gastrointestinale Bezug fehlt oder die Observation beschreibt ein anderes klinisches Thema.
  • Die Komponenten sind unvollständig, doppelt, in anderer Reihenfolge oder nicht als vier getrennte components modelliert.

Judge-Hinweis: FHIR JSON besitzt keinen XML Namensraum. Ein fehlendes xmlns Feld ist daher niemals ein Fehler. Entscheidend ist die gültige FHIR R4 JSON Struktur. Für die klinischen HFIR Texte zählt semantische Plausibilität, nicht eine bestimmte Wortwahl.

Prompt

Baue ein FHIR Bundle als json, das eine HFIR-Anamnese zur gastrointestinalen Symptomatik enthält.
Es soll einen Patient und eine Observation enthalten.
Verwende das korrekte FHIR-Namespace und eine eindeutige Bundle-ID.
Füge die HFIR-Teile H, F, I, R in der richtigen Reihenfolge ein.
720 Runs 707 bewertet 20.6 % Score 7.8 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am