deepseek-v3.1:671b-cloud im LLM-Testsuite-Report
Modellbeschreibung
DeepSeek-V3.1-Terminus ist ein Hybridmodell, das sowohl einen Denkmodus als auch einen Modus ohne Denken unterstützt.
| Modellfamilie | deepseek-v3.1 |
|---|---|
| Familiengrößen | 671b |
Readme-Auszug
Die Aktualisierung DeepSeek-V3.1-Terminus baut auf den Stärken von V3.1 auf und berücksichtigt zugleich wichtige Rückmeldungen der Nutzer:
Sprachkonsistenz: weniger Verwechslungen zwischen Chinesisch und Englisch und keine zufälligen Zeichen mehr. Verbesserungen bei Agenten: höhere Leistung von Code Agent und Search Agent.
Hybrider Denkmodus: Ein Modell unterstützt durch Ändern der Chatvorlage sowohl den Denkmodus als auch den Modus ohne Denken.
Intelligentere Werkzeugaufrufe: Durch Optimierung nach dem Training wurde die Leistung des Modells bei der Werkzeugnutzung und bei Agentenaufgaben deutlich verbessert.
Höhere Denkeffizienz: DeepSeek-V3.1-Think erreicht eine mit DeepSeek-R1-0528 vergleichbare Antwortqualität und antwortet dabei schneller.
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.