deepseek-llm:7b im LLM-Testsuite-Report
Modellbeschreibung
Ein fortschrittliches Sprachmodell, das mit 2 Billionen zweisprachigen Tokens entwickelt wurde.
| Modellfamilie | deepseek-llm |
|---|---|
| Kontext | 4K |
| Input | Text |
| Größe | 40 GB |
| Familiengrößen | 7b, 67b |
Readme-Auszug
DeepSeek LLM ist ein fortschrittliches Sprachmodell, das mit 7 Milliarden und 67 Milliarden Parametern verfügbar ist. Es sind sowohl eine chat als auch eine base Variante verfügbar.
Überlegene allgemeine Fähigkeiten: DeepSeek LLM 67B Base übertrifft Llama2 70B Base in Bereichen wie Schlussfolgern, Programmieren, Mathematik und chinesischem Sprachverständnis. Kompetent in Programmierung und Mathematik: DeepSeek LLM 67B Chat zeigt hervorragende Leistungen beim Programmieren, gemessen mit dem HumanEval-Benchmark, und in Mathematik, gemessen mit dem GSM8K-Benchmark.
Referenzen
GitHub
HuggingFace
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.