gemma2:27b im LLM-Testsuite-Report

Modellbeschreibung

Google Gemma 2 ist ein leistungsstarkes und effizientes Modell, das in drei Größen verfügbar ist: 2B, 9B und 27B.

Modellfamiliegemma2
Kontext8K
InputText
Größe16 GB
Familiengrößen2b, 9b, 27b

Readme-Auszug

Googles Gemma-2-Modell ist in drei Größen verfügbar, 2B, 9B und 27B, und verfügt über eine völlig neue Architektur, die für klassenführende Leistung und Effizienz entwickelt wurde.

Klassenführende Leistung

Mit 27 Milliarden Parametern übertrifft Gemma 2 in Benchmarks Modelle, die mehr als doppelt so groß sind. Diese wegweisende Effizienz setzt einen neuen Standard in der Landschaft offener Modelle.

Drei Größen: 2B, 9B und 27B Parameter

2B Parameter ollama run gemma2:2b 9B Parameter ollama run gemma2 27B Parameter ollama run gemma2:27b

Benchmark

Vorgesehene Verwendung

Offene große Sprachmodelle (LLMs) haben in unterschiedlichen Branchen und Anwendungsgebieten ein breites Einsatzspektrum. Die folgende Liste möglicher Verwendungen ist nicht vollständig. Sie soll Kontextinformationen zu den möglichen Anwendungsfällen liefern, welche die Modellentwickler beim Training und bei der Entwicklung des Modells berücksichtigt haben.

Inhaltserstellung und Kommunikation Textgenerierung: Diese Modelle können kreative Textformate wie Gedichte, Drehbücher, Code, Marketingtexte und E-Mail-Entwürfe erzeugen.Chatbots und dialogorientierte KI: Sie können dialogorientierte Oberflächen für den Kundenservice, virtuelle Assistenten oder interaktive Anwendungen bereitstellen.Textzusammenfassung: Sie können prägnante Zusammenfassungen eines Textkorpus, von Forschungsarbeiten oder Berichten erstellen. Forschung und Bildung Forschung zur Verarbeitung natürlicher Sprache (NLP): Diese Modelle können Forschenden als Grundlage dienen, um mit NLP-Verfahren zu experimentieren, Algorithmen zu entwickeln und zum Fortschritt des Fachgebiets beizutragen.Werkzeuge zum Sprachenlernen: Sie unterstützen interaktive Lernerfahrungen, helfen bei der Grammatikkorrektur oder bieten Schreibübungen.Wissenserschließung: Sie helfen Forschenden, große Tex...

Gemma 2 mit verbreiteten Werkzeugen verwenden

LangChain

from langchain_community.llms import Ollama llm = Ollama(model="gemma2") llm.invoke("Warum ist der Himmel blau?")

LlamaIndex

from llama_index.llms.ollama import Ollama llm = Ollama(model="gemma2") llm.complete("Warum ist der Himmel blau?")
111 Runs 79 bewertet 44.7 % Score 39.2 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am