granite3-dense:2b im LLM-Testsuite-Report
Modellbeschreibung
Die IBM-Granite-Modelle mit 2B und 8B Parametern wurden für werkzeugbasierte Anwendungsfälle und Retrieval-Augmented Generation (RAG) entwickelt und vereinfachen Codegenerierung, Übersetzung und Fehlerbehebung.
| Modellfamilie | granite3-dense |
|---|---|
| Kontext | 4K |
| Input | Text |
| Größe | 16 GB |
| Familiengrößen | 2b, 8b |
Readme-Auszug
Dichte Granite-Modelle
Die IBM-Granite-Modelle 2B und 8B sind dichte, ausschließlich textbasierte LLMs, die mit mehr als 12 Billionen Datentokens trainiert wurden und in ersten IBM-Tests deutliche Verbesserungen bei Leistung und Geschwindigkeit gegenüber ihren Vorgängern zeigten. Granite-8B-Instruct erreicht nun sowohl in den Benchmarks des OpenLLM Leaderboard v1 als auch des OpenLLM Leaderboard v2 ein mit Llama 3.1 8B-Instruct vergleichbares Niveau.
Sie wurden zur Unterstützung werkzeugbasierter Anwendungsfälle entwickelt und für Retrieval-Augmented Generation (RAG), wodurch Codegenerierung, Übersetzung und Fehlerbehebung vereinfacht werden.
Parametergrößen
2B:
ollama run granite3-dense:2b
8B:
ollama run granite3-dense:8b
Unterstützte Sprachen
Englisch, Deutsch, Spanisch, Französisch, Japanisch, Portugiesisch, Arabisch, Tschechisch, Italienisch, Koreanisch, Niederländisch und Chinesisch (vereinfacht)
Fähigkeiten
Zusammenfassung Textklassifikation Textextraktion Fragebeantwortung Retrieval-Augmented Generation (RAG) Codebezogene Aufgaben Funktionsaufrufe Mehrsprachige Dialoganwendungen
Granite-Mixture-of-Experts-Modelle
Die Granite-Mixture-of-Experts-Modelle sind in den Parametergrößen 1B und 3B verfügbar und wurden für Anwendungen mit geringer Latenz entwickelt.
Modellseite anzeigen
Weitere Informationen
Entwickler: IBM Research GitHub-Repository: ibm-granite/granite-3.0-language-models Website: Granite Docs Veröffentlichungsdatum: {date} Lizenz: Apache 2.0.
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.