Rss2Feed im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob ein Modell einen vollständigen RSS 2 Feed korrekt erzeugen kann. Erwartet werden Channel Metadaten sowie mehrere Items mit den typischen RSS Feldern. Bewertet wird die Einhaltung der RSS 2 Struktur.
| Quelldatei | Rss2Feed.txt |
|---|---|
| Serie | 1 |
| Kategorien | xml, rss, structure |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | 6c3692d796130c6fec6dda5c61b1ff604e264bbf14151251b75b87e485393765 |
Erwartetes Ergebnis
Valider RSS 2.0 Feed mit vollständigem Channel und genau drei vollständigen Items.
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe RSS 2.0 Struktur, Pflichtfelder, genau drei Items, eindeutige GUIDs und plausible Datumswerte.
Muss erfüllt sein
- Die Ausgabe ist wohlgeformtes XML ohne erklärende Prosa außerhalb des XML.
- Das Wurzelelement ist rss mit version='2.0'.
- channel enthält mindestens title, link und description sowie language, pubDate und generator.
- channel enthält genau drei item Elemente.
- Jedes item enthält title, link, description, guid und pubDate.
- Links sind absolute URIs, GUIDs sind eindeutig und Datumswerte sind im RSS üblichen RFC 822 beziehungsweise RFC 1123 Format plausibel.
Fehlerkriterien
- Es gibt nicht genau drei Items.
- Ein Pflichtfeld des Channels oder eines Items fehlt.
- Atom typische Strukturen werden anstelle von RSS 2.0 verwendet.
- GUIDs sind doppelt oder Links beziehungsweise Daten offensichtlich ungültig.
Prompt
Erstelle unter content einen vollständigen RSS 2 Feed. Erforderliche Bestandteile rss Root Element mit version="2.0" channel Element mit title link description language pubDate generator drei item Elemente mit jeweils title link description guid pubDate Achte auf valide RSS 2 Syntax. Gib ausschließlich den RSS Feed zurück. # content
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.