exaone-deep:7.8b im LLM-Testsuite-Report
Modellbeschreibung
EXAONE Deep zeigt überlegene Fähigkeiten bei verschiedenen Reasoning-Aufgaben, darunter Mathematik- und Programmierbenchmarks. Die von LG AI Research entwickelten und veröffentlichten Modelle reichen von 2,4B bis 32B Parametern.
| Modellfamilie | exaone-deep |
|---|---|
| Kontext | 32K |
| Input | Text |
| Größe | 48 GB |
| Familiengrößen | 24b, 78b, 32b |
Readme-Auszug
EXAONE Deep zeigt überlegene Fähigkeiten bei verschiedenen Reasoning-Aufgaben, darunter Mathematik- und Programmierbenchmarks. Die von LG AI Research entwickelten und veröffentlichten Modelle reichen von 2,4B bis 32B Parametern.
Die Bewertungsergebnisse zeigen:
EXAONE Deep 2.4B übertrifft andere Modelle vergleichbarer Größe EXAONE Deep 7.8B übertrifft nicht nur Modelle mit offenen Gewichten vergleichbarer Größenordnung, sondern auch das proprietäre Reasoning-Modell OpenAI o1-mini EXAONE Deep 32B erzielt gegenüber führenden Modellen mit offenen Gewichten eine wettbewerbsfähige Leistung.
Referenzen
Hugging Face
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.