AtomFeedFull im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob ein Modell einen vollständigen Atom Feed erzeugen kann. Erwartet wird ein gültiges feed Element mit den typischen Metadaten sowie mehrere entries mit eigenen Inhalten und korrekter Struktur.

QuelldateiAtomFeedFull.txt
Serie1
Kategorienxml, atom, structure
BewertungLLM-Judge
Prompt SHA-2560d982371b4a502f17abfac714b2870d81ff5885c12a97287452a7da74f1f1df9
LLM-Judge: Die Antwort wird LLM-gestützt bewertet. Ein Judge-Modell vergleicht die Modellantwort mit der fachlichen Erwartung und entscheidet, ob sie inhaltlich erfüllt ist.

Erwartetes Ergebnis

Valider Atom Feed mit vollständigen Feedmetadaten und genau drei vollständigen Entries.

Erwartung im Katalognein
Korrektes Ergebnis im Katalogja

Judge-Anweisung

Prüfe Atom Namensraum, Feedmetadaten, genau drei Entries, eindeutige IDs und RFC 3339 Zeitstempel.

Muss erfüllt sein

  • Die Ausgabe ist wohlgeformtes XML ohne erklärende Prosa außerhalb des XML.
  • feed verwendet den Namensraum http://www.w3.org/2005/Atom.
  • feed enthält title, updated, id, author, contributor und rights.
  • feed enthält genau drei entry Elemente.
  • Jedes entry enthält title, id, updated, summary und content.
  • Feed und Entry IDs sind eindeutige gültige IRIs und updated Werte sind plausible RFC 3339 Zeitstempel.

Fehlerkriterien

  • Der Atom Namensraum fehlt oder ist falsch.
  • Es gibt nicht genau drei Entries.
  • Ein gefordertes Feed oder Entry Element fehlt.
  • IDs sind doppelt oder Zeitstempel nicht Atom konform.

Prompt

Erstelle unter content einen vollständigen Atom Feed.

Erforderliche Bestandteile
feed Element im Namensraum
  http://www.w3.org/2005/Atom

feed muss enthalten
  title
  updated
  id
  author
  contributor
  rights

Erzeuge drei entry Elemente, jedes mit
  title
  content
  updated
  id
  summary

Achte auf gültige Atom Syntax.
Gib ausschließlich den Atom Feed zurück.

# content
818 Runs 782 bewertet 49.5 % Score 34.4 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am