qwen:7b im LLM-Testsuite-Report

Qwen 2 ist jetzt hier verfügbar.

Qwen ist eine Reihe transformerbasierter großer Sprachmodelle von Alibaba Cloud, die mit einer großen Datenmenge vortrainiert wurden, darunter Webtexte, Bücher, Code und weitere Inhalte.

Neu in Qwen 1.5

6 Modellgrößen, darunter 0.5B, 1.8B, 4B (Standard), 7B, 14B, 32B (neu) und 72B ollama run qwen:0.5bollama run qwen:1.8bollama run qwen:4bollama run qwen:7bollama run qwen:14bollama run qwen:32bollama run qwen:72bollama run qwen:110b Deutliche Leistungsverbesserung bei menschlichen Präferenzen für Chatmodelle Mehrsprachige Unterstützung sowohl für Basis- als auch für Chatmodelle Stabile Unterstützung einer Kontextlänge von 32K für Modelle aller Größen

Das ursprüngliche Qwen-Modell wird in vier verschiedenen Parametergrößen angeboten: 1.8B, 7B, 14B und 72B.

Merkmale

Kostengünstige Bereitstellung: Der minimale Speicherbedarf für die Inferenz liegt unter 2GB. Umfangreiche hochwertige Trainingskorpora: Die Modelle wurden mit mehr als 2.2 Billionen Token vortrainiert, darunter chinesische, englische und mehrsprachige Texte, Code und Mathematik, die allgemeine und fachliche Bereiche abdecken. Die Verteilung des Vortrainingskorpus wurde durch eine große Zahl von Ablationsexperimenten optimiert. Gute Leistung: Qwen unterstützt große Kontextlängen (8K bei den Modellen mit 1.8b, 7b und 14b Parametern und 32K beim Modell mit 72b Parametern) und übertrifft bei mehreren nachgelagerten chinesischen und englischen Bewertungsaufgaben, darunter Allgemeinwissen, Schlussfolgern, Code und Mathematik, deutlich bestehende Open-Source-Modelle ähnlicher Größe. Bei mehreren Benchmarks übertrifft Qwen sogar einige größere Modelle. Umfassendere Abdeckung des Wortschatzes.

Referenz

GitHub

Hugging Face