nous-hermes:13b im LLM-Testsuite-Report

Nous Hermes wurde von Nous Research veröffentlicht. Es gibt zwei Hauptvarianten: ein auf Llama basierendes Modell mit 13B Parametern sowie auf Llama 2 basierende Modelle mit 7B und 13B Parametern. Es handelt sich jeweils um universell einsetzbare Modelle, die mit denselben Datensätzen trainiert wurden.

Erste Schritte mit Nous Hermes

Im folgenden Beispiel wird das universelle Chatmodell Nous Hermes Llama 2 mit 7B Parametern verwendet.

API

Ollama-Server starten, führen Sie dazu ollama serve) aus Modell ausführen

curl -X POST http://localhost:11434/api/generate -d '{ "model": "nous-hermes", "prompt":"Erkläre, wie ein Kühlschrank funktioniert, um die darin enthaltenen Lebensmittel kalt zu halten." }'

CLI

Ollama installieren Terminal öffnen und ollama run nous-hermes

Hinweis: Der Befehl ollama run führt ollama pull aus, wenn das Modell noch nicht heruntergeladen wurde. Um das Modell herunterzuladen, ohne es auszuführen, verwenden Sie ollama pull nous-hermes

Speicheranforderungen

7B-Modelle benötigen im Allgemeinen mindestens 8 GB RAM. 13B-Modelle benötigen im Allgemeinen mindestens 16 GB RAM.

Treten bei höheren Quantisierungsstufen Probleme auf, verwenden Sie das q4-Modell oder beenden Sie andere Programme, die viel Speicher beanspruchen.

Modellvarianten

Ollama bietet zahlreiche Varianten des Nous-Hermes-Modells, die auf Grundlage der offiziellen Modelle quantisiert wurden und sich gut lokal ausführen lassen.

Nous Hermes Llama 2 basiert als ursprüngliches Nous-Hermes-Modell auf dem ursprünglichen Llama-Modell.

Beispiel: ollama run nous-hermes

Nous Hermes Llama 1 basiert als ursprüngliches Nous-Hermes-Modell auf dem ursprünglichen Llama-Modell.

Beispiel: ollama run nous-hermes:13b-q4_0

Standardmäßig verwendet Ollama eine 4-Bit-Quantisierung. Verwenden Sie andere Tags, um weitere Quantisierungsstufen auszuprobieren. Die Zahl nach dem q bezeichnet die Anzahl der für die Quantisierung verwendeten Bits, q4 bedeutet also 4-Bit-Quantisierung. Je höher die Zahl ist, desto genauer arbeitet das Modell, zugleich läuft es langsamer und benötigt mehr Speicher.

Aliasse latest, 7b, 7b-llama2, 7b-llama2-q4_0 13b, 13b-llama2, 13b-llama2-q4_0

Modellquelle

Quelle von Nous Hermes Llama 2 auf Ollama

Ursprüngliche Quelle der Variante mit 7B Parametern: Nous Research

Ursprüngliche Quelle der Variante mit 13B Parametern: Nous Research

Quelle von Nous Hermes Llama 1 auf Ollama

Ursprüngliche Quelle der Variante mit 13B Parametern: Nous Research