llava:34b im LLM-Testsuite-Report
Modellbeschreibung
🌋 LLaVA ist ein neuartiges, durchgängig trainiertes großes multimodales Modell, das einen Bildencoder und Vicuna für ein universelles Bild- und Sprachverständnis kombiniert. Aktualisiert auf Version 1.6.
| Modellfamilie | llava |
|---|---|
| Kontext | 4K |
| Input | Text |
| Größe | 20 GB |
| Familiengrößen | 7b, 13b, 34b |
Readme-Auszug
🌋 LLaVA: Großer Sprach- und Bildassistent
LLaVA ist ein multimodales Modell, das einen Bildencoder und Vicuna für ein universelles Bild- und Sprachverständnis kombiniert und beeindruckende Chatfähigkeiten erreicht, die dem Charakter des multimodalen GPT-4 nachempfunden sind.
Neu in LLaVA 1.6:
Erhöhung der Eingabebildauflösung auf bis zu viermal so viele Pixel mit Unterstützung für die Auflösungen 672x672, 336x1344 und 1344x336. Besseres visuelles Schlussfolgern und bessere OCR-Fähigkeiten durch eine verbesserte Mischung von Daten zur visuellen Anweisungsabstimmung. Bessere visuelle Dialoge für mehr Szenarien und unterschiedliche Anwendungen. Besseres Weltwissen und logisches Schlussfolgern.
CLI-Verwendung
Modell ausführen:
ollama run llava
Geben Sie anschließend im Prompt den Pfad zu Ihrem Bild an:
>>> Was ist auf diesem Bild zu sehen? /Users/jmorgan/Desktop/smile.png Das Bild zeigt ein gelbes Smiley-Gesicht, das wahrscheinlich im Mittelpunkt der Darstellung steht.
API-Verwendung
curl http://localhost:11434/api/generate -d '{ "model": "llava", "prompt":"Was ist auf diesem Bild zu sehen?", "images": ["iVBORw0KGgoAAAANSUhEUgAAAG0AAABmCAYAAADBPx+VAAAACXBIWXMAAAsTAAALEwEAmpwYAAAAAXNSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAA3VSURBVHgB7Z27r0zdG8fX743i1bi1ikMoFMQloXRpKFFIqI7LH4BEQ+NWIkjQuSWCRIEoULk0gsK1kCBI0IhrQVT7tz/7zZo888yz1r7MnDl7z5xvsjkzs2fP3uu71nNfa7lkAsm7d++Sffv2JbNmzUqcc8m0adOSzZs3Z+/XES4ZckAWJEGWPiCxjsQNLWmQsWjRIpMseaxcuTKpG/7HP27I8P79e7dq1ars/yL4/v27S0ejqwv+cUOGEGGpKHR37tzJCEpHV9tnT58+dXXCJDdECBE2Ojrqjh071hpNECjx4cMHVycM1Uhbv359B2F79+51586daxN/+pyRkRFXKyRDAqxEp4yMlDDzXG1NPnnyJKkThoK0VFd1ELZu3TrzXKxKfW7dMBQ6bcuWLW2v0VlHjx41z717927ba22U9APcw7Nnz1oGEPeL3m3p2mTAYYnFmMOMXybPPXv2bNIPpFZr1NHn4HMw0KRBjg9NuRw95s8PEcz/6DZELQd/09C9QGq5RsmSRybqkwHGjh07OsJSsYYm3ijPpyHzoiacg35MLdDSIS/O1yM778jOTwYUkKNHWUzUWaOsylE00MyI0fcnOwIdjvtNdW/HZwNLGg+sR1kMepSNJXmIwxBZiG8tDTpEZzKg0GItNsosY8US...
Referenzen
Website
GitHub
HuggingFace
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.