gpt-oss:20b-cloud im LLM-Testsuite-Report

Willkommen, OpenAIs gpt-oss!

Ollama arbeitet mit OpenAI zusammen, um dessen neueste hochmoderne Modelle mit offenen Gewichten zu Ollama zu bringen. Die beiden Modelle mit 20B und 120B ermöglichen ein völlig neues lokales Chaterlebnis und wurden für leistungsfähiges Schlussfolgern, agentische Aufgaben und vielseitige Entwicklungsanwendungen konzipiert.

Erste Schritte

Sie können beginnen, indem Sie die neueste Ollama-Version herunterladen.

Das Modell kann direkt in der neuen Ollama-App oder über das Terminal heruntergeladen werden:

ollama run gpt-oss:20b

ollama run gpt-oss:120b

Wichtigste Merkmale

Agentische Fähigkeiten: Nutzen Sie die nativen Fähigkeiten der Modelle für Funktionsaufrufe, das Browsen im Web, wobei Ollama eine integrierte und optional aktivierbare Websuche einführt, Aufrufe von Python-Werkzeugen und strukturierte Ausgaben. Vollständige Gedankenkette: Sie erhalten vollständigen Zugriff auf den Schlussfolgerungsprozess des Modells. Dies erleichtert die Fehlersuche und stärkt das Vertrauen in die Ausgaben. Konfigurierbarer Schlussfolgerungsaufwand: Der Schlussfolgerungsaufwand lässt sich je nach Anwendungsfall und Latenzanforderungen einfach auf niedrig, mittel oder hoch einstellen. Feinabstimmbar: Passen Sie die Modelle durch Parameter-Feinabstimmung vollständig an Ihren jeweiligen Anwendungsfall an. Freizügige Apache-2.0-Lizenz: Freie Entwicklung ohne Copyleft-Einschränkungen oder Patentrisiko, ideal für Experimente, Anpassungen und kommerzielle Bereitstellung.

Quantisierung im MXFP4-Format

OpenAI nutzt Quantisierung, um den Speicherbedarf der gpt-oss-Modelle zu reduzieren. Nach dem Training werden die Gewichte des Mixture-of-Experts-Teils (MoE) in das MXFP4-Format quantisiert, wobei die Gewichte mit 4,25 Bit pro Parameter dargestellt werden. Die MoE-Gewichte machen mehr als 90 Prozent der gesamten Parameterzahl aus. Durch ihre Quantisierung auf MXFP4 kann das kleinere Modell auf Systemen mit nur 16 GB Speicher ausgeführt werden, während das größere Modell auf eine einzelne GPU mit 80 GB passt.

Ollama unterstützt das MXFP4-Format nativ, ohne zusätzliche Quantisierungen oder Konvertierungen. Für Ollamas neue Engine wurden neue Kernel entwickelt, die das MXFP4-Format unterstützen.

Ollama arbeitete mit OpenAI zusammen, um Benchmarks gegen dessen Referenzimplementierungen durchzuführen und sicherzustellen, dass die Ollama-Implementierungen dieselbe Qualität erreichen.

20B-Parameter-Modell

Das Modell gpt-oss-20b ist für geringere Latenz sowie lokale oder spezialisierte Anwendungsfälle ausgelegt.

120B-Parameter-Modell

Referenz

OpenAI-Blog zur Veröffentlichung OpenAI-Modellkarte NVIDIA-RTX-Blog NVIDIA: von der Cloud bis zum Edge