falcon:40b im LLM-Testsuite-Report
Modellbeschreibung
Ein vom Technology Innovation Institute (TII) entwickeltes großes Sprachmodell für Zusammenfassungen, Textgenerierung und Chatbots.
| Modellfamilie | falcon |
|---|---|
| Kontext | 2K |
| Input | Text |
| Größe | 24 GB |
| Familiengrößen | 7b, 40b, 180b |
Readme-Auszug
Falcon ist eine Familie leistungsfähiger großer Sprachmodelle, die vom Technology Innovation Institute (TII) entwickelt wurde. Das TII ist ein Forschungszentrum des Advanced Technology Research Council der Regierung von Abu Dhabi, der die Technologieforschung beaufsichtigt.
CLI
ollama run falcon "Warum ist der Himmel blau?"
API
curl -X POST http://localhost:11434/api/generate -d '{ "model": "falcon", "prompt": "Warum ist der Himmel blau?" }'
Parameterzahlen
Parameteranzahl Empfohlener Speicher 7 Milliarden 8GB Anzeigen ollama run falcon:7b 40 Milliarden 32GB Anzeigen ollama run falcon:40b 180 Milliarden 192GB Anzeigen ollama run falcon:180b
Varianten
chat Chatmodelle werden mit einer Mischung aus mehreren umfangreichen Dialogdatensätzen auf Chat- und Anweisungsdatensätze feinabgestimmt. instruct Instruct-Modelle befolgen Anweisungen und werden auf dem baize -Anweisungsdatensatz feinabgestimmt. text Textmodelle sind die Basismodelle ohne Feinabstimmung für Dialoge und eignen sich am besten für einfache Textvervollständigung.
Falcon 180B
Im September 2023 war Falcon 180B mit 180 Milliarden Parametern das leistungsfähigste offen veröffentlichte LLM. Seine Leistung liegt zwischen OpenAIs GPT 3.5 und GPT 4. Für die Ausführung von Falcon 180B wird ein leistungsfähiges System mit mindestens 192 GB Gesamtspeicher empfohlen.
Hinweis: Falcon 180B wird unter einer anderen Lizenz als seine kleineren Geschwistermodelle veröffentlicht. Diese schränkt die kommerzielle Nutzung unter bestimmten Bedingungen ein. Weitere Informationen finden Sie in den Modelldetails und der Lizenz.
Weitere Informationen
Website des TII Ankündigung von Falcon 180B TII auf HuggingFace
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.