gpt-oss-safeguard:20b im LLM-Testsuite-Report
Modellbeschreibung
gpt-oss-safeguard-20b und gpt-oss-safeguard-120b sind auf gpt-oss aufbauende Modelle für sicherheitsbezogenes Schlussfolgern.
| Modellfamilie | gpt-oss-safeguard |
|---|---|
| Kontext | 128K |
| Input | Text |
| Größe | 14 GB |
| Familiengrößen | 20b, 120b |
Readme-Auszug
Erste Schritte
20B:
ollama run gpt-oss-safeguard:20b
Dieses Modell ist für GPUs mit 16 GB VRAM ausgelegt. Es umfasst 21B Parameter, von denen 3,6B aktiv sind.
120B:
ollama run gpt-oss-safeguard:120b
Dieses Modell ist für eine einzelne NVIDIA-H100-GPU ausgelegt. Es umfasst 117B Parameter, von denen 5,1B aktiv sind.
Höhepunkte
Für sicherheitsbezogenes Schlussfolgern trainiert : Für sicherheitsbezogenes Schlussfolgern trainiert und abgestimmt, um Anwendungsfälle wie die Filterung von LLM-Ein- und -Ausgaben, die Online-Kennzeichnung von Inhalten sowie die Offline-Kennzeichnung für Vertrauens- und Sicherheitsanwendungen zu unterstützen. Eigene Richtlinie einbringen: Das Modell interpretiert Ihre schriftliche Richtlinie und lässt sich dadurch mit minimalem Entwicklungsaufwand auf unterschiedliche Produkte und Anwendungsfälle übertragen. Begründete Entscheidungen statt bloßer Werte: Sie erhalten vollständigen Zugriff auf den Schlussfolgerungsprozess des Modells. Dies erleichtert die Fehlersuche und stärkt das Vertrauen in Richtlinienentscheidungen. Beachten Sie, dass rohe Gedankengänge für Entwickler und Sicherheitsfachleute vorgesehen sind. Sie sollten weder allgemeinen Nutzenden zugänglich gemacht noch außerhalb...
Der ROOST-Modellgemeinschaft beitreten
gpt-oss-safeguard ist Modellpartner der Robust Open Online Safety Tools (ROOST) Modellgemeinschaft. Die ROOST Model Community (RMC) ist eine Gruppe von Sicherheitsfachleuten, die offene KI-Modelle zum Schutz von Online-Räumen untersucht. Als RMC-Modellpartner verpflichtet sich OpenAI, Rückmeldungen von Nutzenden einzubeziehen und künftige Versionen gemeinsam weiterzuentwickeln, um offene Sicherheit voranzubringen. Besuchen Sie die RMC-GitHub-Repository um mehr über diese Partnerschaft und Möglichkeiten zur Beteiligung zu erfahren.
Referenzen
OpenAI-Blog OpenAI Entwickler-Cookbook zu gpt-oss-safeguard ROOSTs Repository der Modellgemeinschaft auf GitHub
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.