mistral-small:22b im LLM-Testsuite-Report

Mistral Small 3 setzt einen neuen Maßstab in der Kategorie der „kleinen“ großen Sprachmodelle unter 70B Parametern. Es verfügt über 24B Parameter und erreicht hochmoderne Fähigkeiten, die mit größeren Modellen vergleichbar sind.

Mistral Small kann lokal eingesetzt werden und besitzt eine außergewöhnlich hohe Wissensdichte. Nach der Quantisierung passt es auf eine einzelne RTX 4090 oder ein MacBook mit 32 GB RAM. Es eignet sich ideal für:

Dialogagenten mit schneller Reaktion. Funktionsaufrufe mit geringer Latenz. Fachmodelle durch Feinabstimmung. Lokale Inferenz für Privatpersonen und Organisationen, die sensible Daten verarbeiten.

Hauptmerkmale

Mehrsprachig: Unterstützt Dutzende Sprachen, darunter Englisch, Französisch, Deutsch, Spanisch, Italienisch, Chinesisch, Japanisch, Koreanisch, Portugiesisch, Niederländisch und Polnisch. Agentenzentriert: Bietet führende agentische Fähigkeiten mit nativen Funktionsaufrufen und JSON-Ausgabe. Fortgeschrittenes Schlussfolgern: Hochmoderne Dialog- und Schlussfolgerungsfähigkeiten. Apache-2.0-Lizenz: Offene Lizenz, die die Nutzung und Änderung für kommerzielle wie nicht kommerzielle Zwecke erlaubt. Kontextfenster: Ein Kontextfenster von 32K. Systemprompt: Hält Systemprompts zuverlässig ein und unterstützt sie umfassend. Tokenizer: Verwendet einen Tekken-Tokenizer mit einem Vokabular von 131K Einträgen.

Bewertungen durch Menschen

Wir führten gemeinsam mit einem externen Drittanbieter direkte Vergleichsbewertungen anhand von mehr als 1.000 proprietären Programmier- und allgemeinen Prompts durch. Die bewertenden Personen sollten aus anonymisierten Ausgaben von Mistral Small 3 und einem anderen Modell die bevorzugte Modellantwort auswählen. Uns ist bewusst, dass Benchmarks mit menschlicher Bewertung in manchen Fällen deutlich von öffentlich verfügbaren Benchmarks abweichen. Daher haben wir besonders sorgfältig auf eine faire Bewertung geachtet. Wir sind überzeugt, dass die oben genannten Benchmarks gültig sind.

Leistung beim Befolgen von Anweisungen

Unser auf Anweisungen abgestimmtes Modell ist bei Benchmarks zu Code, Mathematik, Allgemeinwissen und Befolgen von Anweisungen mit offenen Modellen dreifacher Größe und dem proprietären Modell GPT4o-mini konkurrenzfähig.

Die Genauigkeitswerte für alle Benchmarks wurden mit derselben internen Bewertungspipeline ermittelt. Daher können die Zahlen geringfügig von zuvor gemeldeten Leistungen abweichen, etwa bei Qwen2.5-32B-Instruct, Llama-3.3-70B-Instruct und Gemma-2-27B-IT. Bewertungen durch ein Richtermodell wie Wildbench, Arena Hard und MTBench basierten auf gpt-4o-2024-05-13.

Kunden erproben Mistral Small 3 in mehreren Branchen, darunter:

Finanzdienstleister zur Betrugserkennung Gesundheitsdienstleister zur Ersteinschätzung von Kundenanfragen Unternehmen aus Robotik, Automobilbau und Fertigung zur Steuerung und Kontrolle direkt auf Geräten Branchenübergreifende Anwendungsfälle wie virtueller Kundendienst sowie Stimmungs- und Feedbackanalyse