llama2:13b im LLM-Testsuite-Report

Llama 2 wird von Meta Platforms, Inc. veröffentlicht. Dieses Modell wurde mit 2 Billionen Tokens trainiert und unterstützt standardmäßig eine Kontextlänge von 4096. Die Llama-2-Chatmodelle wurden mit mehr als 1 Million menschlichen Annotationen feinabgestimmt und sind für Dialoge vorgesehen.

CLI

Öffnen Sie das Terminal und führen Sie folgenden Befehl aus: ollama run llama2

API

Beispiel mit curl:

curl -X POST http://localhost:11434/api/generate -d '{ "model": "llama2", "prompt":"Warum ist der Himmel blau?" }'

API-Dokumentation

Speicheranforderungen

7B-Modelle benötigen im Allgemeinen mindestens 8 GB RAM. 13B-Modelle benötigen im Allgemeinen mindestens 16 GB RAM. 70B-Modelle benötigen im Allgemeinen mindestens 64 GB RAM.

Treten bei höheren Quantisierungsstufen Probleme auf, verwenden Sie das q4-Modell oder beenden Sie andere Programme, die viel Speicher beanspruchen.

Modellvarianten

Chat ist für Chat- und Dialoganwendungen feinabgestimmt. Diese Variante ist in Ollama die Standardeinstellung und wird auf der Registerkarte mit den Tags durch „-chat“ gekennzeichnet.

Beispiel: ollama run llama2

Vortrainiert ist die Variante ohne Chat-Feinabstimmung. Sie wird auf der Registerkarte mit den Tags durch „-text“ gekennzeichnet.

Beispiel: ollama run llama2:text

Standardmäßig verwendet Ollama eine 4-Bit-Quantisierung. Verwenden Sie andere Tags, um weitere Quantisierungsstufen auszuprobieren. Die Zahl nach dem q bezeichnet die Anzahl der für die Quantisierung verwendeten Bits, q4 bedeutet also 4-Bit-Quantisierung. Je höher die Zahl ist, desto genauer arbeitet das Modell, zugleich läuft es langsamer und benötigt mehr Speicher.

Referenzen

Llama 2: Offene Basismodelle und feinabgestimmte Chatmodelle

Metas Hugging-Face-Repository