deepcoder:14b im LLM-Testsuite-Report
Modellbeschreibung
DeepCoder ist ein vollständig quelloffenes 14B-Coder-Modell auf dem Niveau von O3-mini. Zusätzlich ist eine 1.5B-Version verfügbar.
| Modellfamilie | deepcoder |
|---|---|
| Kontext | 128K |
| Input | Text |
| Größe | 90 GB |
| Familiengrößen | 15b, 14b |
Readme-Auszug
Durch eine gemeinsame Zusammenarbeit des Agentica-Teams mit Together AI entstand DeepCoder-14B-Preview, ein Code-Reasoning-Modell, das mittels verteiltem Reinforcement Learning aus Deepseek-R1-Distilled-Qwen-14B feinabgestimmt wurde. Es erreicht bei LiveCodeBench eine beeindruckende Pass@1-Genauigkeit von 60,6 % und damit eine Verbesserung um 8 %. Dies entspricht der Leistung von o3-mini-2025-01-031 (Niedrig) und o1-2024-12-17 bei nur 14 Milliarden Parametern
Bewertung
Modell LCB (v5)(8/1/24-2/1/25) Codeforces-Wertung Codeforces-Perzentil HumanEval+ DeepCoder-14B-Preview 60.6 1936 95.3 92.6 DeepSeek-R1-Distill-Qwen-14B 53.0 1791 92.7 92.0 O1-2024-12-17 (Low) 59.5 1991 96.1 90.8 O3-Mini-2025-1-31 (Low) 60.9 1918 94.9 92.6 O1-Preview 42.7 1658 88.5 89 Deepseek-R1 62.8 1948 95.4 92.6 Llama-4-Behemoth 49.4 - - -
Referenzen
Blogbeitrag
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.