llama-pro:8b-instruct-fp16 im LLM-Testsuite-Report
Modellbeschreibung
Eine Erweiterung von Llama 2, die sich auf die Verbindung von allgemeinem Sprachverständnis und domänenspezifischem Wissen spezialisiert, insbesondere in Programmierung und Mathematik.
| Modellfamilie | llama-pro |
|---|---|
| Kontext | 4K |
| Input | Text |
| Größe | 17 GB |
Readme-Auszug
LLaMa-Pro ist eine Version des ursprünglichen LLaMa-Modells, die vom Tencent Applied Research Center (ARC) durch zusätzliche Transformer-Blöcke erweitert wurde. Dieses Modell ist auf die Verbindung von allgemeinem Sprachverständnis und domänenspezifischem Wissen spezialisiert, insbesondere in Programmierung und Mathematik.
Referenzen
GitHub
Hugging Face
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.