llama3-chatqa:8b im LLM-Testsuite-Report
Modellbeschreibung
Ein auf Llama 3 basierendes Modell von NVIDIA, das sich bei dialogorientierter Fragebeantwortung (QA) und Retrieval-Augmented Generation (RAG) auszeichnet.
| Modellfamilie | llama3-chatqa |
|---|---|
| Kontext | 8K |
| Input | Text |
| Größe | 47 GB |
| Familiengrößen | 8b, 70b |
Readme-Auszug
ChatQA-1.5 baut auf dem Llama-3-Basismodell auf und bezieht Daten zur dialogorientierten Fragebeantwortung ein, um seine Fähigkeiten bei Tabellen und arithmetischen Berechnungen zu verbessern.
ChatQA-1.5 besitzt zwei Varianten:
Llama3-ChatQA-1.5-8B llama3-chatqa:8b Llama3-ChatQA-1.5-70B llama3-chatqa:70b
Referenzen
Website
Hugging Face
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.