magicoder:7b im LLM-Testsuite-Report
Modellbeschreibung
🎩 Magicoder ist eine Familie von Modellen mit 7B Parametern, die mithilfe von OSS-Instruct, einem neuartigen Ansatz zur Erweiterung von LLMs durch Open-Source-Codeausschnitte, mit 75.000 synthetischen Anweisungsdatensätzen trainiert wurden.
| Modellfamilie | magicoder |
|---|---|
| Kontext | 16K |
| Input | Text |
| Größe | 38 GB |
| Familiengrößen | 7b |
Readme-Auszug
🎩
Magicoder ist eine von OSS-Instruct unterstützte Modellfamilie. Dieser neuartige Ansatz erweitert LLMs durch Open-Source-Codeausschnitte, um hochwertige Anweisungsdaten für Code mit geringer Verzerrung zu erzeugen.
OSS-Instruct verringert die inhärente Verzerrung von durch LLMs synthetisierten Anweisungsdaten, indem es ihnen zahlreiche Open-Source-Referenzen bereitstellt. Dadurch entstehen vielfältigere, realistischere und besser steuerbare Daten.
Referenzen
GitHub
HuggingFace
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.