devstral:24b im LLM-Testsuite-Report

Devstral ist ein agentisches LLM für Softwareentwicklungsaufgaben, das in Zusammenarbeit zwischen Mistral AI und All Hands AI entwickelt wurde. Devstral zeichnet sich durch den Einsatz von Werkzeugen zum Erkunden von Codebasen und das Bearbeiten mehrerer Dateien aus und unterstützt Softwareentwicklungsagenten. Das Modell erzielt bei SWE-bench eine bemerkenswerte Leistung und ist damit das führende quelloffene Modell.

Es wurde aus Mistral Small 3.1 feinabgestimmt und besitzt daher ein langes Kontextfenster von bis zu 128K Tokens. Als Programmieragent verarbeitet Devstral ausschließlich Text. Vor der Feinabstimmung aus Mistral-Small-3.1 wurde der Bildencoder entfernt.

Hauptmerkmale:

Agentisches Programmieren: Devstral wurde für hervorragende Leistungen bei agentischen Programmieraufgaben entwickelt und ist damit eine sehr gute Wahl für Softwareentwicklungsagenten. Leichtgewichtig: Mit seiner kompakten Größe von nur 24 Milliarden Parametern ist Devstral leicht genug, um auf einer einzelnen RTX 4090 oder einem Mac mit 32 GB RAM ausgeführt zu werden. Damit eignet es sich für die lokale Bereitstellung und die Nutzung auf Geräten. Apache-2.0-Lizenz: Offene Lizenz, die Nutzung und Änderungen sowohl für kommerzielle als auch für nicht kommerzielle Zwecke erlaubt. Kontextfenster: Ein Kontextfenster von 128K.

SWE-Bench

Devstral erreicht einen Wert von 46,8 % bei SWE-Bench Verified, womit es den bisherigen quelloffenen Spitzenwert um 6 % übertrifft.

Modell Testgerüst SWE-Bench Verified (%) Devstral OpenHands-Testgerüst 46.8 GPT-4.1-mini OpenAI-Testgerüst 23.6 Claude 3.5 Haiku Anthropic-Testgerüst 40.6 SWE-smith-LM 32B SWE-agent-Testgerüst 40.2

Bei einer Bewertung mit demselben Testgerüst, OpenHands von All Hands AI , übertrifft Devstral deutlich größere Modelle wie Deepseek-V3-0324 und Qwen3 232B-A22B.

In der folgenden Grafik vergleichen wir Devstral außerdem mit geschlossenen und offenen Modellen, die mit beliebigen Testgerüsten bewertet wurden, einschließlich eigens für das jeweilige Modell angepasster Gerüste. Dabei zeigt sich, dass Devstral eine deutlich bessere Leistung als mehrere geschlossene Alternativen erzielt. Beispielsweise übertrifft Devstral das aktuelle GPT-4.1-mini um mehr als 20 %.

Referenz

Blog