FHIR_HFIR_03_SyntheticBundleUUID_ttl im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob das Modell ein synthetisches FHIR Bundle mit URN UUIDs generieren kann, das eine HFIR Anamnese dokumentiert, einschließlich Patient mit Geschlecht und Geburtsdatum und einer Observation mit HFIR ANAMNESE Code.

QuelldateiFHIR_HFIR_03_SyntheticBundleUUID_ttl.txt
Serie2
Kategorienfhir, ttl, hfir, bundle
BewertungLLM-Judge
Prompt SHA-256f3fb4c75ef335ce67b7c11c5e21e86a8cfec6b77258a90c3cbcd9cd0a23c5f4b
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

Valides synthetisches FHIR R4 RDF/Turtle Bundle mit eindeutigen URN UUID Identitäten, Patient mit gender und birthDate sowie Observation HFIR-ANAMNESE mit vier HFIR Komponenten.

Erwartung im Katalognein
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Prüfe gültige und konsistente URN UUIDs, Patientendaten, den Observation Code HFIR-ANAMNESE und die vollständige HFIR Komponentenstruktur.

Muss erfüllt sein

  • Die Ausgabe besteht ausschließlich aus syntaktisch gültigem Turtle und lässt sich als RDF Graph parsen. Markdown Codezäune dürfen für die Prüfung entfernt werden, zusätzliche Prosa ist nicht zulässig.
  • Der Präfix fhir ist auf http://hl7.org/fhir/ gebunden.
  • Genau ein Knoten ist als fhir:Bundle typisiert und mit fhir:nodeRole fhir:treeRoot als Wurzelressource gekennzeichnet.
  • Patient und Observation sind als fhir:Patient und fhir:Observation Ressourcen modelliert und über die FHIR Bundle Struktur erreichbar.
  • FHIR Primitive verwenden die R4 RDF Modellierung mit fhir:value. Wiederholte Elemente besitzen konsistente, lückenlose fhir:index Werte ab 0.
  • Die Observation besitzt gültige FHIR RDF Aussagen für status und code. Die subject Reference enthält eine konsistente fhir:Reference.reference und sinnvollerweise einen auflösbaren fhir:link zum Patient.
  • Die Bundle Einträge für Patient und Observation besitzen jeweils eine eindeutige Identität im Format urn:uuid:<gültige UUID>.
  • Patient.gender enthält einen gültigen FHIR R4 AdministrativeGender Code und Patient.birthDate ein syntaktisch gültiges FHIR Datum.
  • Observation.code kennzeichnet die Observation eindeutig mit HFIR-ANAMNESE, entweder als Coding.code oder als gleichwertige CodeableConcept Modellierung.
  • Observation.subject verweist konsistent auf die Patient Identität im Bundle.
  • Die Observation enthält genau vier nicht leere component Einträge H, F, I und R.
  • Patient und Observation verwenden eindeutige urn:uuid: IRIs oder eine semantisch gleichwertige FHIR RDF Identitätsmodellierung, die mit den Bundle Referenzen konsistent ist.

Fehlerkriterien

  • Die Ausgabe ist kein parsebares Turtle, bindet fhir falsch oder enthält Prosa außerhalb der RDF Serialisierung.
  • Der Graph verwendet nur frei erfundene Prädikate statt der FHIR R4 RDF Eigenschaften.
  • Mehr als ein Knoten ist als treeRoot markiert oder die Wurzel ist kein Bundle.
  • Primitive Werte werden nicht mit fhir:value dargestellt oder Wiederholungen haben doppelte beziehungsweise lückenhafte fhir:index Werte.
  • Patient, Observation, status, code oder die auf den Patient gerichtete subject Reference fehlt.
  • URN UUIDs sind syntaktisch ungültig, doppelt oder Referenzen zeigen auf eine andere beziehungsweise nicht vorhandene Ressource.
  • Ein FHIR Resource.id enthält unzulässigerweise den vollständigen Präfix urn:uuid: statt nur eines gültigen FHIR id Werts.
  • gender, birthDate oder der Code HFIR-ANAMNESE fehlt.
  • Die vier HFIR Komponenten sind nicht vollständig oder nicht getrennt strukturiert.

Judge-Hinweis: Bewerte die offizielle FHIR R4 RDF Darstellung. Turtle ist ein RDF Graph, doch die Reihenfolge wiederholter FHIR Elemente wird durch fhir:index festgelegt. Für die klinischen HFIR Texte zählt semantische Plausibilität, nicht eine bestimmte Wortwahl.

Prompt

Erzeuge ein synthetisches FHIR Bundle (ttl), das eine HFIR-Anamnese dokumentiert.
Patient soll Geschlecht und Geburtsdatum haben.
Die Observation soll den Code HFIR-ANAMNESE tragen.
Füge die vier HFIR-Komponenten ein.
Verwende unique URN-UUIDs für fullUrl.
Das Ergebnis muss wohlgeformtes FHIR ttl sein.
746 Runs 734 bewertet 18.9 % Score 8.6 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am