FHIR_HFIR_06_Neurologie_json im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob das Modell ein vollständiges FHIR Bundle für eine neurologische HFIR Anamnese erzeugen kann, mit gültigen IDs, korrektem Observation.status und Category Coding.

QuelldateiFHIR_HFIR_06_Neurologie_json.txt
Serie2
Kategorienfhir, json, hfir, bundle
BewertungLLM-Judge
Prompt SHA-2561a2f41dd60036893ee73ff3f6ad3bb8847701ef777342a9efab1de37ad531fe8
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

Valides FHIR R4 JSON Bundle für eine neurologische HFIR Anamnese mit gültigen IDs, passendem Observation.status, offiziellem Category Coding und HFIR ausschließlich in Observation.component.

Erwartung im Katalognein
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Prüfe gültige Ressourcen IDs, Observation.status und category sowie die ausschließlich komponentenbasierte neurologische HFIR Modellierung.

Muss erfüllt sein

  • Die Ausgabe besteht ausschließlich aus einem syntaktisch gültigen JSON Objekt. Markdown Codezäune dürfen für die Prüfung entfernt werden, zusätzliche Prosa, Kommentare oder nachgestellte Kommata sind nicht zulässig.
  • Das Wurzelobjekt enthält resourceType mit dem Wert Bundle.
  • Bundle.entry ist ein Array, dessen resource Objekte die korrekten resourceType Werte Patient und Observation tragen.
  • FHIR Primitive werden als JSON Werte mit korrektem Datentyp modelliert. XML Attribute oder XML Namensraumdeklarationen dürfen nicht nachgeahmt werden.
  • Die Observation besitzt mindestens status und code. Observation.subject.reference verweist konsistent auf den Patient im Bundle.
  • Bundle, Patient und Observation besitzen jeweils einen nicht leeren, syntaktisch gültigen und innerhalb der Ausgabe eindeutigen FHIR id Wert.
  • Observation.status ist ein gültiger FHIR R4 ObservationStatus Code und für eine dokumentierte Anamnese semantisch passend, typischerweise final.
  • Observation.category enthält mindestens ein Coding mit dem System http://terminology.hl7.org/CodeSystem/observation-category und einem nicht leeren, plausiblen Code.
  • Observation.code oder Observation.code.text kennzeichnet eine neurologische Anamnese beziehungsweise ein semantisch gleichwertiges neurologisches Thema.
  • HFIR ist ausschließlich in genau vier Observation.component Einträgen H, F, I und R mit nicht leeren valueString Werten modelliert.

Fehlerkriterien

  • Die Ausgabe ist kein parsebares JSON Objekt oder enthält Prosa beziehungsweise Kommentare außerhalb des JSON.
  • resourceType Bundle fehlt oder Patient und Observation sind nicht in entry[].resource modelliert.
  • XML typische value Attribute, xmlns Felder als vermeintliche Pflichtstruktur oder andere Mischsyntax wird verwendet.
  • Observation.status, Observation.code oder die konsistente Patient Referenz fehlt.
  • Eine ID fehlt, ist syntaktisch ungültig oder wird widersprüchlich wiederverwendet.
  • Observation.status fehlt oder enthält keinen gültigen FHIR R4 Code.
  • Das Category Coding fehlt, verwendet kein offizielles observation-category System oder besitzt keinen Code.
  • HFIR wird außerhalb der components als primäre oder parallele Struktur abgelegt.
  • Der neurologische Bezug fehlt.

Judge-Hinweis: FHIR JSON besitzt keinen XML Namensraum. Ein fehlendes xmlns Feld ist daher niemals ein Fehler. Entscheidend ist die gültige FHIR R4 JSON Struktur. Für die klinischen HFIR Texte zählt semantische Plausibilität, nicht eine bestimmte Wortwahl.

Prompt

Erstelle ein vollständiges FHIR Bundle in json zur Abbildung einer HFIR-Anamnese im Bereich Neurologie.
Nutze gültige FHIR IDs, ein korrektes Observation.status und ein observation-category coding.
Die HFIR-Information muss ausschließlich in Observation.component abgelegt sein.
Gib nur das json zurück.
720 Runs 707 bewertet 15.8 % Score 7.8 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am