codestral:22b im LLM-Testsuite-Report
Modellbeschreibung
Codestral ist das erste Code-Modell von Mistral AI, das für Aufgaben der Codegenerierung entwickelt wurde.
| Modellfamilie | codestral |
|---|---|
| Kontext | 32K |
| Input | Text |
| Größe | 13 GB |
| Familiengrößen | 22b |
Readme-Auszug
Codestral
Codestral ist das erste Code-Modell von Mistral AI, das für Aufgaben der Codegenerierung entwickelt wurde. Es ist ein 22B-Modell.
Beherrscht mehr als 80 Programmiersprachen
Codestral wurde auf einem Datensatz mit mehr als 80 Programmiersprachen trainiert, darunter Python, Java, C, C++, JavaScript, Swift, Fortran und Bash.
Das Modell kann Programmierfunktionen vervollständigen, Tests schreiben und mithilfe eines Fill-in-the-Middle-Mechanismus beliebigen unvollständigen Code ergänzen.
Benchmarks
Referenz
Mistral AI: Codestral: Hallo Welt
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.