SsmlProsodyDemo im LLM-Testsuite-Report
Testfallbeschreibung
Der Test prüft, ob ein Modell ein gültiges SSML Dokument mit vielfältigen prosodischen Anweisungen erzeugen kann. Erwartet werden mehrere voice Elemente, prosody mit unterschiedlichen Attributen, Pausen, Hervorhebungen und ein audio Element. Bewertet wird sowohl die syntaktische Korrektheit als auch die sinnvolle Nutzung der SSML Funktionen.
| Quelldatei | SsmlProsodyDemo.txt |
|---|---|
| Serie | 1 |
| Kategorien | xml, ssml |
| Bewertung | LLM-Judge |
| Prompt SHA-256 | 14f0d8c47ee3baf76aa669e49b9a07bdb167c84fe39c417a9bd6eede16c8719d |
Erwartetes Ergebnis
Valides SSML Dokument mit mehreren Stimmen, vielfältiger Prosodie, Pausen, Hervorhebungen und Audio.
| Erwartung im Katalog | nein |
|---|---|
| Korrektes Ergebnis im Katalog | ja |
Judge-Anweisung
Prüfe SSML Wohlgeformtheit, Rootattribute, gültige Prosodiewerte und sinnvolle Verwendung der geforderten Sprachsteuerungselemente.
Muss erfüllt sein
- Die Ausgabe ist wohlgeformtes XML ohne erklärende Prosa außerhalb des XML.
- Das Wurzelelement speak verwendet den Namensraum http://www.w3.org/2001/10/synthesis.
- speak enthält eine passende SSML Version, vorzugsweise version='1.1', und xml:lang.
- Mindestens zwei voice Elemente sind vorhanden.
- Mehrere prosody Elemente verwenden unterschiedliche gültige Kombinationen aus rate, pitch und volume.
- Mindestens ein break mit gültigem time oder strength Wert und mindestens ein emphasis mit gültigem level sind vorhanden.
- Ein audio Element besitzt eine gültige src URI und sinnvollen Fallbacktext.
Fehlerkriterien
- SSML Namensraum oder speak Wurzel fehlt.
- Prosodieattribute oder Werte sind offensichtlich nicht SSML konform.
- voice, break, emphasis oder audio fehlt.
- audio enthält keinen Fallbacktext oder keine Quelle.
Prompt
Erstelle unter content ein ausführliches SSML Dokument. Erforderliche Eigenschaften Root Element speak im SSML Namensraum mindestens ein voice Element mehrere prosody Elemente mit Kombinationen aus rate, pitch und volume mehrere break Elemente mit unterschiedlichen Dauerangaben mehrere emphasis Elemente ein audio Element mit src Attribut oder eingebettetem Inhalt Der Text soll deutlich verschiedene prosodische Anweisungen demonstrieren zum Beispiel langsame Einleitung, schnelle Passage, leise und laute Teile sowie betonte Schlüsselbegriffe. Nutze den SSML Namensraum http://www.w3.org/2001/10/synthesis Gib ausschließlich das SSML Dokument zurück. # content
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.