gemma3n:e2b im LLM-Testsuite-Report

Gemma-3n-Modelle sind für eine effiziente Ausführung auf Alltagsgeräten wie Laptops, Tablets oder Smartphones ausgelegt. Diese Modelle wurden mit Daten in mehr als 140 gesprochenen Sprachen trainiert.

Gemma-3n-Modelle nutzen eine Technologie zur selektiven Aktivierung von Parametern, um den Ressourcenbedarf zu reduzieren. Dadurch können sie mit einer effektiven Größe von 2B beziehungsweise 4B Parametern arbeiten, die unter ihrer tatsächlichen Gesamtzahl an Parametern liegt.

Modelle

Effektiv 2B

ollama run gemma3n:e2b

Effektiv 4B

ollama run gemma3n:e4b

Bewertung

Kennzahlen und Ergebnisse der Modellbewertung.

Benchmark-Ergebnisse

Diese Modelle wurden mit voller Genauigkeit (float32) anhand einer umfangreichen Sammlung unterschiedlicher Datensätze und Kennzahlen bewertet, um verschiedene Aspekte der Inhaltserzeugung abzudecken. Mit IT gekennzeichnete Bewertungsergebnisse beziehen sich auf anweisungsabgestimmte Modelle. Mit PT gekennzeichnete Bewertungsergebnisse beziehen sich auf vortrainierte Modelle. Die auf Ollama verfügbaren Modelle sind anweisungsabgestimmt.

Schlussfolgern und Faktentreue

Benchmark Kennzahl n-shot E2B PT E4B PT HellaSwag Genauigkeit 10-shot 72.2 78.6 BoolQ Genauigkeit 0-shot 76.4 81.6 PIQA Genauigkeit 0-shot 78.9 81.0 SocialIQA Genauigkeit 0-shot 48.8 50.0 TriviaQA Genauigkeit 5-shot 60.8 70.2 Natural Questions Genauigkeit 5-shot 15.5 20.9 ARC-c Genauigkeit 25-shot 51.7 61.6 ARC-e Genauigkeit 0-shot 75.8 81.6 WinoGrande Genauigkeit 5-shot 66.8 71.7 BIG-Bench Hard Genauigkeit few-shot 44.3 52.9 DROP Token-F1-Wert 1-shot 53.9 60.8

Mehrsprachigkeit

Benchmark Kennzahl n-shot E2B IT E4B IT MGSM Genauigkeit 0-shot 53.1 60.7 WMT24++ (ChrF) Character-level F-score 0-shot 42.7 50.1 Include Genauigkeit 0-shot 38.6 57.2 MMLU (ProX) Genauigkeit 0-shot 8.1 19.9 OpenAI MMLU Genauigkeit 0-shot 22.3 35.6 Global-MMLU Genauigkeit 0-shot 55.1 60.3 ECLeKTic ECLeKTic score 0-shot 2.5 1.9

MINT und Code

Benchmark Kennzahl n-shot E2B IT E4B IT GPQA Diamond RelaxedAccuracy/accuracy 0-shot 24.8 23.7 LiveCodeBench v5 pass@1 0-shot 18.6 25.7 Codegolf v2.2 pass@1 0-shot 11.0 16.8 AIME 2025 Genauigkeit 0-shot 6.7 11.6

Weitere Benchmarks

Benchmark Kennzahl n-shot E2B IT E4B IT MMLU Genauigkeit 0-shot 60.1 64.9 MBPP pass@1 3-shot 56.6 63.6 HumanEval pass@1 0-shot 66.5 75.0 LiveCodeBench pass@1 0-shot 13.2 13.2 HiddenMath Genauigkeit 0-shot 27.7 37.7 Global-MMLU-Lite Genauigkeit 0-shot 59.0 64.5 MMLU (Pro) Genauigkeit 0-shot 40.5 50.6

Verwendung und Einschränkungen

Diese Modelle weisen bestimmte Einschränkungen auf, die Nutzenden bekannt sein sollten.

Vorgesehene Verwendung

Offene generative Modelle haben in unterschiedlichen Branchen und Anwendungsgebieten ein breites Einsatzspektrum. Die folgende Liste möglicher Verwendungen ist nicht vollständig. Sie soll Kontextinformationen zu den möglichen Anwendungsfällen liefern, welche die Modellentwickler beim Training und bei der Entwicklung des Modells berücksichtigt haben.

Inhaltserstellung und Kommunikation Textgenerierung: Kreative Textformate wie Gedichte, Drehbücher, Code, Marketingtexte und E-Mail-Entwürfe erzeugen.Chatbots und dialogorientierte KI: Dialogorientierte Oberflächen für den Kundenservice, virtuelle Assistenten oder interaktive Anwendungen bereitstellen.Textzusammenfassung: Prägnante Zusammenfassungen eines Textkorpus, von Forschungsarbeiten oder Berichten erstellen.Extraktion aus Bilddaten: Visuelle Daten für die textliche Kommunikation extrahieren, interpretieren und zusammenfassen.Extraktion aus Audiodaten: Gesprochene Sprache transkribieren, Sprache als Text in andere Sprachen übersetzen und klangbasierte Daten analysieren. Forschung und Bildung Forschung zur Verarbeitung natürlicher Sprache (NLP) und zu generativen Modellen: Diese Modelle können Forschenden als Grundlage dienen, um mit generativen Modellen und NLP-Verfahren zu experi...

Ethik und Sicherheit

Ansatz und Ergebnisse der Bewertung von Ethik und Sicherheit.

Bewertungsansatz

Unsere Bewertungsmethoden umfassen strukturierte Bewertungen und interne Red-Team-Tests einschlägiger Inhaltsrichtlinien. Das Red-Teaming wurde von mehreren Teams mit jeweils unterschiedlichen Zielen und menschlichen Bewertungskennzahlen durchgeführt. Diese Modelle wurden anhand verschiedener Kategorien bewertet, die für Ethik und Sicherheit relevant sind, darunter:

Kinderschutz: Bewertung von Text-zu-Text- und Bild-zu-Text-Prompts zu Richtlinien für den Kinderschutz, einschließlich sexuellen Kindesmissbrauchs und der Ausbeutung von Kindern. Inhaltssicherheit: Bewertung von Text-zu-Text- und Bild-zu-Text-Prompts zu Sicherheitsrichtlinien, darunter Belästigung, Gewalt und drastische Darstellungen sowie Hassrede. Darstellungsbedingte Schäden: Bewertung von Text-zu-Text- und Bild-zu-Text-Prompts zu Sicherheitsrichtlinien, darunter Verzerrungen, Stereotype sowie schädliche Zuordnungen oder Ungenauigkeiten.

Zusätzlich zu den Bewertungen während der Entwicklung führen wir sogenannte „Assurance-Bewertungen“ durch. Dabei handelt es sich um interne Bewertungen mit organisatorischem Abstand, die Entscheidungen der Verantwortungsgovernance unterstützen. Sie werden unabhängig vom Modellentwicklungsteam durchgeführt und dienen als Grundlage für Entscheidungen über eine Veröffentlichung. Übergeordnete Erkenntnisse werden an das Modellteam zurückgespielt, die verwendeten Promptsätze bleiben jedoch zurückgehalten, um Überanpassung zu verhindern und die Aussagekraft der Ergebnisse für Entscheidungen zu bewahren. Bedeutende Ergebnisse dieser Assurance-Bewertungen werden unserem Responsibility & Safety Council im Rahmen der Freigabeprüfung vorgelegt.

Bewertungsergebnisse

In allen Bereichen der Sicherheitstests zeigte sich im Vergleich zu früheren Gemma-Modellen ein sicheres Leistungsniveau in den Kategorien Kinderschutz, Inhaltssicherheit und darstellungsbedingte Schäden. Sämtliche Tests wurd...