hermes3:3b im LLM-Testsuite-Report
Modellbeschreibung
Hermes 3 ist die neueste Version der führenden Hermes-LLM-Reihe von Nous Research.
| Modellfamilie | hermes3 |
|---|---|
| Kontext | 128K |
| Input | Text |
| Größe | 20 GB |
| Familiengrößen | 3b, 8b, 70b, 405b |
Readme-Auszug
Hermes 3 ist ein Universalsprachmodell mit zahlreichen Verbesserungen gegenüber Hermes 2. Dazu gehören fortgeschrittene agentische Fähigkeiten, deutlich bessere Rollenspiele, verbessertes Schlussfolgern, Dialoge über mehrere Runden, Kohärenz bei langen Kontexten und umfassende weitere Verbesserungen.
Die Grundidee der Hermes-Modellreihe besteht darin, LLMs auf die nutzende Person auszurichten und ihr leistungsfähige Steuerungsmöglichkeiten sowie Kontrolle zu geben.
Die Hermes-3-Reihe baut auf den Fähigkeiten von Hermes 2 auf und erweitert sie. Dazu gehören leistungsfähigere und zuverlässigere Funktionsaufrufe und strukturierte Ausgaben, allgemeine Assistenzfähigkeiten sowie eine verbesserte Codegenerierung.
Hermes 3 Die Reihe enthält vier Modelle: 3B, 8B, 70B, und 405B
Referenzen:
Technischer Bericht zu Hermes 3 Hugging Face
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.