command-r7b:7b im LLM-Testsuite-Report

C4AI Command R7B ist eine Forschungsveröffentlichung mit offenen Gewichten eines Modells mit 7 Milliarden Parametern und fortschrittlichen Fähigkeiten, das für verschiedene Anwendungsfälle optimiert wurde, darunter Schlussfolgern, Zusammenfassen, Beantworten von Fragen und Code. Das Modell wurde für anspruchsvolle Aufgaben wie abrufgestützte Generierung (RAG) und Werkzeugnutzung trainiert. Es verfügt außerdem über starke agentische Fähigkeiten und kann mehrere Werkzeuge über mehrere Schritte hinweg verwenden und kombinieren, um schwierigere Aufgaben zu bewältigen. Bei unternehmensrelevanten Codeanwendungen erzielt es Spitzenleistungen. C4AI Command R7B ist ein mehrsprachiges Modell, das in 23 Sprachen trainiert wurde.

Modelldetails

Modellarchitektur: Dies ist ein autoregressives Sprachmodell mit einer optimierten Transformer-Architektur. Nach dem Vortraining verwendet das Modell überwachtes Fine-Tuning (SFT) und Präferenztraining, um sein Verhalten an menschliche Präferenzen hinsichtlich Hilfsbereitschaft und Sicherheit anzupassen. Das Modell besitzt drei Schichten mit Sliding-Window-Attention, einer Fenstergröße von 4096 und ROPE für eine effiziente lokale Kontextmodellierung und relative Positionskodierung. Eine vierte Schicht verwendet globale Attention ohne Positionseinbettungen und ermöglicht dadurch uneingeschränkte Token-Interaktionen über die gesamte Sequenz.

Abgedeckte Sprachen: Das Modell wurde in 23 Sprachen trainiert: Englisch, Französisch, Spanisch, Italienisch, Deutsch, Portugiesisch, Japanisch, Koreanisch, Arabisch, Chinesisch, Russisch, Polnisch, Türkisch, Vietnamesisch, Niederländisch, Tschechisch, Indonesisch, Ukrainisch, Rumänisch, Griechisch, Hindi, Hebräisch und Persisch.