firefunction-v2:70b im LLM-Testsuite-Report
Modellbeschreibung
Ein auf Llama 3 basierendes Modell mit offenen Gewichten für Funktionsaufrufe, dessen Fähigkeiten bei Funktionsaufrufen mit GPT-4o konkurrenzfähig sind.
| Modellfamilie | firefunction-v2 |
|---|---|
| Kontext | 8K |
| Input | Text |
| Größe | 40 GB |
| Familiengrößen | 70b |
Readme-Auszug
Firefunction-v2 ist bei Funktionsaufrufen mit GPT-4o konkurrenzfähig und erzielt in einer Mischung öffentlicher Benchmarks 0,81 gegenüber 0,80 für GPT-4o.
Firefunction-v2 ist für reale Szenarien optimiert, darunter Dialoge über mehrere Runden, das Befolgen von Anweisungen und parallele Funktionsaufrufe. Es behält die Fähigkeit von Llama 3 zum Befolgen von Anweisungen über mehrere Runden bei (0,84 gegenüber 0,89 bei MT-Bench) und übertrifft Llama 3 zugleich durchgängig bei Aufgaben mit Funktionsaufrufen (0,51 gegenüber 0,30 bei Nexus Parallel Multi Function Eval).
Referenzen
Blogbeitrag
Hugging Face
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.