KI & XML / LLM-Testsuite / Resultate / Testcases / CompareSpecialCharsXml

CompareSpecialCharsXml im LLM-Testsuite-Report

Testfallbeschreibung

Der Test prüft, ob ein Modell zwei Texte in XML korrekt inhaltlich miteinander vergleicht, obwohl im ersten Dokument verschiedene Sonderzeichen vorkommen. Entscheidend ist, dass der Satzkern identifiziert und die Übereinstimmung ausschließlich als 1 oder 0 bewertet wird.

Quelldatei	CompareSpecialCharsXml.txt
Serie	1
Kategorien	xml, hyphens, semantics
Bewertung	Deterministisch
Prompt SHA-256	67cd5237fd2d8da1342f1db2ecded7d0da3b8c74da681e993b51849c2e1c2896

Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden.

Erwartetes Ergebnis

Erwartung im Katalog	nein
Korrektes Ergebnis im Katalog	nein

Prompt

<xpath/><prompt>
  <dokumentA>
Titel: Testtext mit Sonderzeichen
Abschnitt 1
Dies ist ein Satz mit geschützten Leerzeichen: Wort A und Wort B.
Dies ist ein Satz mit schmalen Abständen: Wort C und Wort D.
Dies ist ein Satz mit einem Viertelgeviert: Alpha Beta.
Abschnitt 2
Soft Hyphens: information, kombinierbar, transparent.
Abschnitt 3
Zeile eins↵
Zeile zwei.
  </dokumentA>

  <dokumentB>
Titel: Testtext ohne Sonderzeichen
Abschnitt 1
Dies ist ein Satz mit normalen Leerzeichen: Wort A und Wort B.
Dies ist ein Satz mit normalen Leerzeichen: Wort C und Wort D.
Dies ist ein Satz mit einfachem Leerzeichen: Alpha Beta.
Abschnitt 2
Soft Hyphens entfernt: information, kombinierbar, transparent.
Abschnitt 3
Zeile eins
Zeile zwei.
  </dokumentB>

  <ziel>Prüfe Satzkern</ziel>
  <ausgabe>Nur 1 oder 0</ausgabe>
</prompt>

810 Runs 791 bewertet 62.3 % Score 8.6 % exakt korrekt

Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Modell Kategorie Zugangsweg

CompareSpecialCharsXml im LLM-Testsuite-Report Testfallbeschreibung Der Test prüft, ob ein Modell zwei Texte in XML korrekt inhaltlich miteinander vergleicht, obwohl im ersten Dokument verschiedene Sonderzeichen vorkommen. Entscheidend ist, dass der Satzkern identifiziert und die Übereinstimmung ausschließlich als 1 oder 0 bewertet wird. Quelldatei CompareSpecialCharsXml.txt Serie 1 Kategorien xml, hyphens, semantics Bewertung Deterministisch Prompt SHA-256 67cd5237fd2d8da1342f1db2ecded7d0da3b8c74da681e993b51849c2e1c2896 Deterministisch: Die Antwort wird regelbasiert gegen ein erwartetes Ergebnis geprüft. Bewertet wird also, ob die geforderten Werte, Muster oder Strukturen in der Modellantwort gefunden werden. Erwartetes Ergebnis 1 Erwartung im Katalog nein Korrektes Ergebnis im Katalog nein Prompt Titel: Testtext mit Sonderzeichen Abschnitt 1 Dies ist ein Satz mit geschützten Leerzeichen: Wort A und Wort B. Dies ist ein Satz mit schmalen Abständen: Wort C und Wort D. Dies ist ein Satz mit einem Viertelgeviert: Alpha Beta. Abschnitt 2 Soft Hyphens: information, kombinierbar, transparent. Abschnitt 3 Zeile eins↵ Zeile zwei. Titel: Testtext ohne Sonderzeichen Abschnitt 1 Dies ist ein Satz mit normalen Leerzeichen: Wort A und Wort B. Dies ist ein Satz mit normalen Leerzeichen: Wort C und Wort D. Dies ist ein Satz mit einfachem Leerzeichen: Alpha Beta. Abschnitt 2 Soft Hyphens entfernt: information, kombinierbar, transparent. Abschnitt 3 Zeile eins Zeile zwei. Prüfe Satzkern Nur 1 oder 0 810 Runs 791 bewertet 62.3 % Score 8.6 % exakt korrekt Hilfe zu Bewertung, Score und exakter Korrektheit Modell filtern Kategorie Alle Kategorien Zugangsweg Alle Zugangswege Details Modell Kategorien Zugangsweg Bewertung Runs Bewertet Score Exakt korrekt Median s P95 s Details aya-expanse:8b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 85.0 % 0.0 % 8.58 s 9.92 s Details aya-expanse:latest xml|hyphens|semantics Ollama lokal Deterministisch 10 10 85.0 % 0.0 % 8.75 s 10.82 s Details aya:8b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 34.0 % 0.0 % 2.89 s 11.19 s Details bespoke-minicheck:latest xml|hyphens|semantics Ollama lokal Deterministisch 10 10 0.0 % 0.0 % 0.44 s 0.50 s Details codegeex4:latest xml|hyphens|semantics Ollama lokal Deterministisch 10 10 85.0 % 0.0 % 10.77 s 15.10 s Details codegemma:latest xml|hyphens|semantics Ollama lokal Deterministisch 10 10 68.0 % 0.0 % 6.50 s 13.98 s Details codellama:7b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 51.0 % 0.0 % 5.78 s 8.90 s Details codellama:latest xml|hyphens|semantics Ollama lokal Deterministisch 10 10 85.0 % 0.0 % 5.28 s 7.32 s Details codeqwen:7b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 68.0 % 0.0 % 7.50 s 10.87 s Details codeqwen:latest xml|hyphens|semantics Ollama lokal Deterministisch 10 10 76.5 % 0.0 % 8.06 s 13.74 s Details codestral:22b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 68.0 % 0.0 % 22.94 s 78.56 s Details codestral:latest xml|hyphens|semantics Ollama lokal Deterministisch 10 10 68.0 % 0.0 % 71.93 s 139.01 s Details codeup:13b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 68.0 % 0.0 % 18.35 s 44.82 s Details codeup:latest xml|hyphens|semantics Ollama lokal Deterministisch 10 10 76.5 % 0.0 % 27.69 s 57.55 s Details command-r7b:7b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 85.0 % 0.0 % 14.55 s 18.69 s Details command-r:35b xml|hyphens|semantics Ollama lokal Deterministisch 5 4 34.0 % 0.0 % 106.52 s 494.82 s Details deepcoder:14b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 85.0 % 0.0 % 70.22 s 347.17 s Details deepscaler:1.5b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 85.0 % 0.0 % 13.02 s 16.17 s Details deepseek-coder-v2:16b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 85.0 % 0.0 % 45.97 s 56.72 s Details deepseek-coder:33b xml|hyphens|semantics Ollama lokal Technisch fehlgeschlagen 1 0 Details deepseek-coder:6.7b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 28.3 % 0.0 % 8.87 s 43.25 s Details deepseek-llm:7b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 28.3 % 0.0 % 15.28 s 38.76 s Details deepseek-r1:1.5b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 85.0 % 0.0 % 31.42 s 33.27 s Details deepseek-r1:14b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 85.0 % 0.0 % 122.44 s 182.56 s Details deepseek-r1:32b xml|hyphens|semantics Ollama lokal Technisch fehlgeschlagen 1 0 Details deepseek-r1:8b xml|hyphens|semantics Ollama lokal Deterministisch 2 1 42.5 % 0.0 % 839.86 s 839.86 s Details deepseek-v2:16b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 85.0 % 0.0 % 50.82 s 51.29 s Details deepseek-v3.1:671b-cloud xml|hyphens|semantics Ollama Cloud Deterministisch 5 5 0.0 % 0.0 % 1.67 s 2.27 s Details deepseek-v3.2:cloud xml|hyphens|semantics Ollama Cloud Deterministisch 3 2 33.3 % 33.3 % 750.51 s 756.60 s Details deepseek-v4-pro:cloud xml|hyphens|semantics Ollama Cloud Deterministisch 5 5 60.0 % 60.0 % 21.67 s 103.79 s Details devstral:24b xml|hyphens|semantics Ollama lokal Technisch fehlgeschlagen 1 0 Details dolphin-llama3:70b xml|hyphens|semantics Ollama lokal Technisch fehlgeschlagen 1 0 Details dolphin-mistral:7b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 56.7 % 0.0 % 15.13 s 28.04 s Details dolphin-mixtral:8x7b xml|hyphens|semantics Ollama lokal Deterministisch 3 1 28.3 % 0.0 % 928.21 s 928.21 s Details dolphin-phi:2.7b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 56.7 % 0.0 % 11.99 s 16.45 s Details dolphin3:8b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 56.7 % 0.0 % 11.05 s 11.36 s Details dolphincoder:15b xml|hyphens|semantics Ollama lokal Deterministisch 6 5 70.8 % 0.0 % 90.44 s 203.95 s Details dolphincoder:7b xml|hyphens|semantics Ollama lokal Deterministisch 6 6 28.3 % 0.0 % 24.87 s 42.18 s Details duckdb-nsql:7b xml|hyphens|semantics Ollama lokal Deterministisch 6 6 56.7 % 0.0 % 1.22 s 9.01 s Details everythinglm:13b xml|hyphens|semantics Ollama lokal Deterministisch 6 6 85.0 % 0.0 % 38.99 s 60.53 s Details exaone-deep:7.8b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 85.0 % 0.0 % 99.79 s 814.83 s Details falcon2:11b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 0.0 % 0.0 % 0.82 s 13.23 s Details falcon3:1b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 56.7 % 0.0 % 14.20 s 36.79 s Details falcon3:3b xml|hyphens|semantics Ollama lokal Deterministisch 6 6 97.5 % 83.3 % 0.35 s 2.57 s Details falcon:40b xml|hyphens|semantics Ollama lokal Technisch fehlgeschlagen 1 0 Details firefunction-v2:70b xml|hyphens|semantics Ollama lokal Technisch fehlgeschlagen 1 0 Details gemma2:27b xml|hyphens|semantics Ollama lokal Technisch fehlgeschlagen 1 0 Details gemma2:2b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 85.0 % 0.0 % 6.59 s 8.07 s Details gemma3:1b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 56.7 % 0.0 % 0.70 s 1.79 s Details gemma3:270m xml|hyphens|semantics Ollama lokal Deterministisch 3 3 28.3 % 0.0 % 0.51 s 0.69 s Details gemma3n:e2b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 85.0 % 0.0 % 4.08 s 10.51 s Details gemma4:31b-cloud xml|hyphens|semantics Ollama Cloud Deterministisch 5 5 100.0 % 100.0 % 0.76 s 20.78 s Details gemma:2b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 85.0 % 0.0 % 3.94 s 10.94 s Details gemma:7b xml|hyphens|semantics Ollama lokal Deterministisch 6 6 85.0 % 0.0 % 11.88 s 32.27 s Details gemma:latest xml|hyphens|semantics Ollama lokal Deterministisch 3 3 85.0 % 0.0 % 76.48 s 83.22 s Details glm-4.6:cloud xml|hyphens|semantics Ollama Cloud Deterministisch 5 5 37.0 % 20.0 % 200.38 s 283.87 s Details glm-4.7:cloud xml|hyphens|semantics Ollama Cloud Deterministisch 5 3 17.0 % 0.0 % 15.00 s 359.00 s Details glm-5:cloud xml|hyphens|semantics Ollama Cloud Deterministisch 5 5 0.0 % 0.0 % 20.82 s 44.62 s Details gpt-4.1 xml|hyphens|semantics OpenAI Deterministisch 5 5 100.0 % 100.0 % 0.82 s 0.97 s Details gpt-4.1-mini xml|hyphens|semantics OpenAI Deterministisch 5 5 0.0 % 0.0 % 0.93 s 1.06 s Details gpt-4.1-nano xml|hyphens|semantics OpenAI Deterministisch 5 5 0.0 % 0.0 % 0.96 s 0.99 s Details gpt-oss-safeguard:20b xml|hyphens|semantics OpenAI Deterministisch 3 3 85.0 % 0.0 % 22.52 s 35.75 s Details gpt-oss:120b-cloud xml|hyphens|semantics Ollama Cloud Deterministisch 5 5 40.0 % 40.0 % 6.36 s 7.60 s Details gpt-oss:20b xml|hyphens|semantics OpenAI Deterministisch 3 3 85.0 % 0.0 % 37.11 s 37.67 s Details gpt-oss:20b-cloud xml|hyphens|semantics Ollama Cloud Deterministisch 5 5 40.0 % 40.0 % 4.59 s 6.10 s Details granite-code:20b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 85.0 % 0.0 % 25.23 s 50.92 s Details granite-code:34b xml|hyphens|semantics Ollama lokal Technisch fehlgeschlagen 1 0 Details granite3-dense:2b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 85.0 % 0.0 % 1.04 s 1.71 s Details granite3-dense:8b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 56.7 % 0.0 % 4.73 s 8.19 s Details granite3-guardian:latest xml|hyphens|semantics Ollama lokal Deterministisch 3 3 0.0 % 0.0 % 0.24 s 0.31 s Details granite3-moe:1b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 28.3 % 0.0 % 0.99 s 1.94 s Details granite3-moe:3b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 95.0 % 66.7 % 0.27 s 0.70 s Details granite3-moe:latest xml|hyphens|semantics Ollama lokal Deterministisch 3 3 56.7 % 0.0 % 0.54 s 0.79 s Details granite4:3b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 90.0 % 33.3 % 0.43 s 0.46 s Details granite4:latest xml|hyphens|semantics Ollama lokal Deterministisch 3 3 100.0 % 100.0 % 0.30 s 0.35 s Details hermes3:3b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 56.7 % 0.0 % 3.41 s 3.57 s Details hermes3:8b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 56.7 % 0.0 % 5.14 s 9.75 s Details hermes3:latest xml|hyphens|semantics Ollama lokal Deterministisch 3 3 85.0 % 0.0 % 0.54 s 3.76 s Details internlm2:1.8b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 68.0 % 0.0 % 1.93 s 9.48 s Details internlm2:1m xml|hyphens|semantics Ollama lokal Deterministisch 13 13 71.9 % 0.0 % 10.92 s 354.56 s Details internlm2:7b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 85.0 % 0.0 % 12.58 s 20.32 s Details llama-pro:8b-instruct-fp16 xml|hyphens|semantics Ollama lokal Deterministisch 8 7 31.9 % 0.0 % 375.49 s 1012.26 s Details llama-pro:8b-instruct-q2_K xml|hyphens|semantics Ollama lokal Deterministisch 10 10 76.5 % 0.0 % 4.75 s 7.25 s Details llama-pro:8b-instruct-q3_K_M xml|hyphens|semantics Ollama lokal Deterministisch 10 10 51.0 % 0.0 % 3.43 s 9.09 s Details llama-pro:8b-instruct-q3_K_S xml|hyphens|semantics Ollama lokal Deterministisch 10 10 68.0 % 0.0 % 5.83 s 18.09 s Details llama-pro:8b-text-q5_K_M xml|hyphens|semantics Ollama lokal Deterministisch 10 10 0.0 % 0.0 % 0.43 s 1.67 s Details llama-pro:text xml|hyphens|semantics Ollama lokal Deterministisch 10 10 0.0 % 0.0 % 0.62 s 1.02 s Details llama2:13b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 85.0 % 0.0 % 91.02 s 157.91 s Details llama3-chatqa:8b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 54.0 % 20.0 % 1.78 s 7.66 s Details llama3-gradient:8b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 59.5 % 0.0 % 3.75 s 12.56 s Details llama3:8b xml|hyphens|semantics Ollama lokal Deterministisch 3 3 85.0 % 0.0 % 35.15 s 36.43 s Details llava:34b xml|hyphens|semantics Ollama lokal Technisch fehlgeschlagen 1 0 Details magicoder:7b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 68.0 % 0.0 % 30.51 s 44.23 s Details mathstral:7b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 85.0 % 0.0 % 10.73 s 15.82 s Details meditron:7b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 68.0 % 0.0 % 6.06 s 9.06 s Details medllama2:7b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 42.5 % 0.0 % 1.70 s 4.76 s Details minimax-m2.5:cloud xml|hyphens|semantics Ollama Cloud Technisch fehlgeschlagen 1 0 Details minimax-m2:cloud xml|hyphens|semantics Ollama Cloud Deterministisch 5 5 100.0 % 100.0 % 28.42 s 44.85 s Details mistral-openorca:7b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 76.5 % 0.0 % 6.64 s 10.47 s Details nemotron-3-nano:30b-cloud xml|hyphens|semantics Ollama Cloud Deterministisch 5 5 100.0 % 100.0 % 2.30 s 4.25 s Details nemotron-mini:4b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 50.0 % 50.0 % 0.74 s 0.78 s Details neural-chat:7b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 76.5 % 0.0 % 8.24 s 22.23 s Details nexusraven:13b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 51.0 % 0.0 % 26.39 s 40.52 s Details notus:7b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 68.0 % 0.0 % 11.17 s 16.35 s Details nous-hermes2-mixtral:8x7b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 85.0 % 0.0 % 355.38 s 564.97 s Details nous-hermes:13b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 34.0 % 0.0 % 6.86 s 40.43 s Details nuextract:3.8b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 85.0 % 0.0 % 4.17 s 8.14 s Details o3 xml|hyphens|semantics OpenAI Deterministisch 5 5 60.0 % 60.0 % 5.61 s 17.00 s Details o3-mini xml|hyphens|semantics OpenAI Deterministisch 5 5 51.0 % 0.0 % 19.01 s 30.93 s Details olmo2:13b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 76.5 % 0.0 % 91.77 s 141.78 s Details open-orca-platypus2:13b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 42.5 % 0.0 % 0.76 s 1.23 s Details openchat:7b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 68.0 % 0.0 % 5.61 s 9.74 s Details openhermes:7b-mistral-v2-fp16 xml|hyphens|semantics Ollama lokal Deterministisch 10 10 76.5 % 0.0 % 38.06 s 148.62 s Details openhermes:7b-mistral-v2-q2_K xml|hyphens|semantics Ollama lokal Deterministisch 10 10 85.0 % 0.0 % 8.73 s 15.79 s Details openhermes:7b-mistral-v2-q3_K_L xml|hyphens|semantics Ollama lokal Deterministisch 10 10 51.0 % 0.0 % 4.49 s 8.93 s Details openhermes:7b-mistral-v2-q4_K_M xml|hyphens|semantics Ollama lokal Deterministisch 10 10 85.0 % 0.0 % 4.88 s 13.71 s Details openhermes:7b-mistral-v2-q5_0 xml|hyphens|semantics Ollama lokal Deterministisch 10 10 85.0 % 0.0 % 4.31 s 9.22 s Details openhermes:7b-mistral-v2-q5_1 xml|hyphens|semantics Ollama lokal Deterministisch 10 10 25.5 % 0.0 % 6.22 s 31.48 s Details openhermes:7b-v2 xml|hyphens|semantics Ollama lokal Deterministisch 10 10 76.5 % 0.0 % 3.35 s 9.80 s Details openhermes:v2.5 xml|hyphens|semantics Ollama lokal Deterministisch 10 10 76.5 % 0.0 % 6.24 s 15.03 s Details qwen3-vl:235b-cloud xml|hyphens|semantics Ollama Cloud Deterministisch 5 5 100.0 % 100.0 % 23.71 s 34.70 s Details qwen3.5:397b-cloud xml|hyphens|semantics Ollama Cloud Deterministisch 5 5 100.0 % 100.0 % 124.37 s 180.78 s Details qwen:0.5b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 34.0 % 0.0 % 0.47 s 11.61 s Details qwen:1.8b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 59.5 % 0.0 % 1.34 s 12.09 s Details qwen:14b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 68.0 % 0.0 % 16.06 s 19.00 s Details qwen:32b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 100.0 % 100.0 % 8.12 s 13.01 s Details qwen:4b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 42.5 % 0.0 % 1.56 s 23.15 s Details qwen:7b xml|hyphens|semantics Ollama lokal Deterministisch 10 10 76.5 % 0.0 % 3.85 s 7.30 s Erzeugt am 2026-08-14 08:56:59