llama3-gradient:8b im LLM-Testsuite-Report
Modellbeschreibung
Dieses Modell erweitert die Kontextlänge von LLaMa-3 8B von 8K auf mehr als 1 Million Tokens.
| Modellfamilie | llama3-gradient |
|---|---|
| Kontext | 1M |
| Input | Text |
| Größe | 47 GB |
| Familiengrößen | 8b, 70b |
Readme-Auszug
Dieses von Gradient entwickelte und durch Rechenkapazität von Crusoe Energy unterstützte Modell erweitert die Kontextlänge von LLaMa-3 8B von 8K auf mehr als 1040K. Es zeigt, dass hochmoderne LLMs mit minimalem Training den Umgang mit langen Kontexten erlernen können, wenn der RoPE-Theta-Wert passend angepasst wird. Für diese Phase wurden 830 Millionen Tokens und über alle Phasen insgesamt 1,4 Milliarden Tokens verwendet. Das entspricht weniger als 0,01 Prozent der ursprünglichen Vortrainingsdaten von Llama 3.
Großes Kontextfenster
Hinweis: Ein Kontextfenster von 256K erfordert mindestens 64 GB Speicher. Ein Kontextfenster von mehr als 1 Million Tokens benötigt deutlich mehr als 100 GB.
Um das Kontextfenster beispielsweise auf 256K zu erweitern, verwenden Sie:
API
curl http://localhost:11434/api/generate -d '{ "model": "llama3-gradient", "prompt": "Warum ist der Himmel blau?", "options": { "num_ctx": 256000 } }'
CLI
ollama run llama3-gradient >>> /set parameter num_ctx 256000
Referenzen
Website
Hugging Face
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.