mathstral:7b im LLM-Testsuite-Report
Modellbeschreibung
MathΣtral: ein von Mistral AI entwickeltes 7B-Modell für mathematisches Schlussfolgern und wissenschaftliche Entdeckungen.
| Modellfamilie | mathstral |
|---|---|
| Kontext | 32K |
| Input | Text |
| Größe | 41 GB |
| Familiengrößen | 7b |
Readme-Auszug
Mistral AI stellt Mathstral der Wissenschaftsgemeinschaft zur Verfügung, um die Arbeit an fortgeschrittenen mathematischen Problemen zu unterstützen, die komplexes mehrstufiges logisches Schlussfolgern erfordern. Die Veröffentlichung von Mathstral ist Teil eines umfassenderen Engagements für akademische Projekte und entstand im Rahmen der Zusammenarbeit von Mistral AI mit Project Numina.
Wie Isaac Newton zu seiner Zeit steht Mathstral auf den Schultern von Mistral 7B und ist auf MINT-Fächer spezialisiert. In verschiedenen branchenüblichen Benchmarks erreicht es in seiner Größenklasse hochmoderne Fähigkeiten zum Schlussfolgern.
Benchmarks
Mathstral kann mit mehr Rechenaufwand während der Inferenz deutlich bessere Ergebnisse erzielen. Mathstral 7B erreicht bei MATH 68,37 Prozent mit Mehrheitsentscheidung und 74,59 Prozent mit einem starken Belohnungsmodell unter 64 Kandidaten.
Referenzen
Blogbeitrag
Hugging Face
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.