openchat:7b im LLM-Testsuite-Report
Modellbeschreibung
Eine Familie offener Modelle, die mit vielfältigen Daten trainiert wurde und ChatGPT in verschiedenen Benchmarks übertrifft. Aktualisiert auf Version 3.5-0106.
| Modellfamilie | openchat |
|---|---|
| Kontext | 8K |
| Input | Text |
| Größe | 41 GB |
| Familiengrößen | 7b |
Readme-Auszug
OpenChat ist eine Reihe offener Sprachmodelle, die mit C-RLFT feinabgestimmt wurden, einer vom Offline-Reinforcement-Learning inspirierten Strategie.
Diese auf OpenChat-3.5-1210 aktualisierte Modellversion zeichnet sich bei Programmieraufgaben aus und erzielt in zahlreichen Benchmarks für offene LLMs sehr hohe Werte.
Referenzen
GitHub
HuggingFace
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.