open-orca-platypus2:13b im LLM-Testsuite-Report

OpenOrca Platypus2 ist ein Modell mit 13 Milliarden Parametern. Es führt das OpenOrca-OpenChat-Modell und Garage-bAInd Platypus2-13B zusammen, die beide Feinabstimmungen von Llama 2 sind. Es ist als universell einsetzbares Modell für Chat, Texterzeugung und Codegenerierung konzipiert.

Erste Schritte mit OpenOrca Platypus 2

Im folgenden Beispiel wird das universell einsetzbare Modell OpenOrca Platypus 2 mit 13B Parametern verwendet.

API

Ollama-Server starten, führen Sie dazu ollama serve) aus Modell ausführen

curl -X POST http://localhost:11434/api/generate -d '{ "model": "open-orca-platypus2", "prompt":"Erzähle mir einen Witz über Seile." }'

CLI

Ollama installieren Terminal öffnen und ollama run open-orca-platypus2

Hinweis: Der Befehl ollama run führt ollama pull aus, wenn das Modell noch nicht heruntergeladen wurde. Um das Modell herunterzuladen, ohne es auszuführen, verwenden Sie ollama pull open-orca-platypus2

Speicheranforderungen

13B-Modelle benötigen im Allgemeinen mindestens 16 GB RAM.

Treten bei höheren Quantisierungsstufen Probleme auf, verwenden Sie das q4-Modell oder beenden Sie andere Programme, die viel Speicher beanspruchen.

Modellvarianten

Standardmäßig verwendet Ollama eine 4-Bit-Quantisierung. Verwenden Sie andere Tags, um weitere Quantisierungsstufen auszuprobieren. Die Zahl nach dem q bezeichnet die Anzahl der für die Quantisierung verwendeten Bits, q4 bedeutet also 4-Bit-Quantisierung. Je höher die Zahl ist, desto genauer arbeitet das Modell, zugleich läuft es langsamer und benötigt mehr Speicher.

Aliasse latest, 13b, 13b-q4_0

Modellquelle

Quelle von OpenOrca Platypus 2 auf Ollama

Quelle der Variante mit 13B Parametern: OpenOrca

Referenzen

Platypus: Schnelle, kostengünstige und leistungsfähige Verfeinerung von LLMs