deepscaler:1.5b im LLM-Testsuite-Report
Modellbeschreibung
Eine feinabgestimmte Version von Deepseek-R1-Distilled-Qwen-1.5B, die mit nur 1.5 Milliarden Parametern bei verbreiteten Mathematikbewertungen die Leistung von OpenAIs o1-preview übertrifft.
| Modellfamilie | deepscaler |
|---|---|
| Kontext | 128K |
| Input | Text |
| Größe | 36 GB |
| Familiengrößen | 15b |
Readme-Auszug
DeepScaleR
Reinforcement Learning für LLMs demokratisieren
DeepScaleR-1.5B-Preview ist ein Sprachmodell, das mithilfe verteilten Reinforcement Learnings (RL) aus DeepSeek-R1-Distilled-Qwen-1.5B feinabgestimmt wurde, um auf lange Kontextlängen zu skalieren. Das Modell erreicht bei AIME 2024 eine Pass@1-Genauigkeit von 43,1 %. Dies entspricht einer Verbesserung um 15 % gegenüber dem Basismodell mit 28,8 % und übertrifft mit nur 1.5 Milliarden Parametern die Leistung von OpenAIs O1-Preview.
Modell AIME 2024 MATH 500 AMC 2023 Minerva Math Olympiad Bench Durchschn. DeepScaleR-1.5B-Preview 43.1 87.8 73.6 30.2 50.0 57.0 DeepSeek-R1-Distill-Qwen-1.5B 28.8 82.8 62.9 26.5 43.3 48.9 O1-Preview 40.0 81.4 - - - -
Daten
Unser Trainingsdatensatz besteht aus ungefähr 40.000 eindeutigen Aufgaben-Antwort-Paaren, die aus folgenden Quellen zusammengestellt wurden:
AIME-Aufgaben (1984 bis 2023) AMC-Aufgaben (vor 2023) Omni-MATH-Datensatz Still-Datensatz
Bewertung
Wir bewerten unser Modell anhand von Mathematikbenchmarks auf Wettbewerbsniveau, darunter AIME 2024, AMC 2023, MATH-500, Minerva Math und OlympiadBench. Nachfolgend wird die Pass@1-Genauigkeit angegeben, gemittelt über 16 Stichproben pro Aufgabe.
Modell AIME 2024 MATH 500 AMC 2023 Minerva Math OlympiadBench Durchschn. Qwen-2.5-Math-7B-Instruct 13.3 79.8 50.6 34.6 40.7 43.8 rStar-Math-7B 26.7 78.4 47.5 - 47.1 - Eurus-2-7B-PRIME 26.7 79.2 57.8 38.6 42.1 48.9 Qwen2.5-7B-SimpleRL 26.7 82.4 62.5 39.7 43.3 50.9 DeepSeek-R1-Distill-Qwen-1.5B 28.8 82.8 62.9 26.5 43.3 48.9 Still-1.5B 32.5 84.4 66.7 29.0 45.4 51.6 DeepScaleR-1.5B-Preview 43.1 87.8 73.6 30.2 50.0 57.0 O1-Preview 40.0 81.4 - - - -
Wir vergleichen DeepScaleR mit dem von uns verwendeten DeepSeek-Basismodell sowie mit aktuellen wissenschaftlichen Arbeiten, die RL für Reasoning-Aufgaben untersuchen. DeepScaleR übertrifft das Basismodell bei allen Benchmarks deutlich und erzielt bei AIME2024 einen absoluten Zuwachs von 14,4 % sowie insgesamt eine Verbesserung von 8,1 %. Darüber hinaus übertrifft DeepScaleR aktuelle wissenschaftliche Arbeiten wie rSTAR, Prime und SimpleRL, die aus 7B-Modellen feinabgestimmt wurden. Mit nur 1.5 Milliarden Parametern erreicht DeepScaleR eine Leistung auf dem Niveau von O1-preview, was einen bemerkenswerten Effizienzgewinn darstellt.
Referenzen
Artikel
GitHub
Hugging Face
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.