olmo2:13b im LLM-Testsuite-Report
Modellbeschreibung
OLMo 2 ist eine neue Familie von 7B- und 13B-Modellen, die mit bis zu 5 Billionen Tokens trainiert wurden. Diese Modelle erreichen oder übertreffen vollständig offene Modelle vergleichbarer Größe und sind in englischsprachigen akademischen Benchmarks mit Open-Weight-Modellen wie Llama 3.1 konkurrenzfähig.
| Modellfamilie | olmo2 |
|---|---|
| Kontext | 4K |
| Input | Text |
| Größe | 84 GB |
| Familiengrößen | 7b, 13b |
Readme-Auszug
OLMo 2 ist eine neue Familie von 7B- und 13B-Modellen, die mit bis zu 5 Billionen Tokens trainiert wurden. Diese Modelle erreichen oder übertreffen vollständig offene Modelle vergleichbarer Größe und sind in englischsprachigen akademischen Benchmarks mit Open-Weight-Modellen wie Llama 3.1 konkurrenzfähig.
Referenzen
Blogbeitrag
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.