falcon3:1b im LLM-Testsuite-Report
Modellbeschreibung
Eine Familie effizienter KI-Modelle mit weniger als 10 Milliarden Parametern, die durch innovative Trainingstechniken hohe Leistungen in Naturwissenschaften, Mathematik und Programmierung erzielt.
| Modellfamilie | falcon3 |
|---|---|
| Kontext | 8K |
| Input | Text |
| Größe | 18 GB |
| Familiengrößen | 1b, 3b, 7b, 10b |
Readme-Auszug
Falcon3 ist der jüngste Fortschritt des TII bei effizienten Sprachmodellen mit weniger als 10 Milliarden Parametern. Der Schwerpunkt liegt auf besseren Fähigkeiten in Naturwissenschaften, Mathematik und Code bei gleichzeitiger Trainingseffizienz.
Hauptmerkmale
Vier Größen: 1B, 3B, 7B und 10B Depth-Upscaling-Technik zur Erstellung des 10B-Modells aus dem 7B-Modell Wissensdestillation für kleinere Modelle mit 1B und 3B
Leistungsübersicht
falcon3:1b übertrifft smollm2:1.7b, erreicht das Niveau von gemma2:2b falcon3:10b erreicht den neuesten Stand der Technik in der Kategorie unter 13B Erweiterte Kontextlänge von bis zu 32K Tokens, beim 1B-Modell 8K
Referenzen
Hugging Face
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.