gemma:2b im LLM-Testsuite-Report
Modellbeschreibung
Gemma ist eine von Google DeepMind entwickelte Familie leichtgewichtiger, hochmoderner offener Modelle. Aktualisiert auf Version 1.1.
| Modellfamilie | gemma |
|---|---|
| Kontext | 8K |
| Input | Text |
| Größe | 17 GB |
| Familiengrößen | 2b, 7b |
Readme-Auszug
Gemma ist ein neues offenes Modell, das von Google und dessen DeepMind-Team entwickelt wurde. Es wurde von Googles Gemini-Modellen inspiriert.
Gemma ist in den beiden Parametergrößen 2b und 7b verfügbar:
ollama run gemma:2b ollama run gemma:7b (Standard)
Die Modelle werden mit einem vielfältigen Datensatz aus Webdokumenten trainiert, damit sie zahlreiche Sprachstile, Themen und Wortschätze kennenlernen. Dazu gehören Code zum Erlernen der Syntax und Muster von Programmiersprachen sowie mathematische Texte zum Erfassen logischer Schlussfolgerungen.
Um die Sicherheit des Modells zu gewährleisten, setzte das Team verschiedene Verfahren zur Datenbereinigung und Filterung ein. Dazu zählen eine strenge Filterung von CSAM, also Material über sexuellen Kindesmissbrauch, die Filterung sensibler Daten sowie eine Filterung nach Inhaltsqualität in Übereinstimmung mit den Richtlinien von Google.
Referenz
Google Gemma
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.