nous-hermes2-mixtral:8x7b im LLM-Testsuite-Report
Modellbeschreibung
Das Modell Nous Hermes 2 von Nous Research, nun auf Grundlage von Mixtral trainiert.
| Modellfamilie | nous-hermes2-mixtral |
|---|---|
| Kontext | 32K |
| Input | Text |
| Größe | 26 GB |
| Familiengrößen | 8x7b |
Readme-Auszug
Nous Hermes 2 Mixtral 8x7B wurde mit mehr als 1.000.000 Einträgen trainiert, die überwiegend von GPT-4 erzeugt wurden, sowie mit weiteren hochwertigen Daten aus offenen Datensätzen der gesamten KI-Landschaft. Dadurch erreicht es bei zahlreichen Aufgaben hochmoderne Leistungen.
Dies ist die durch überwachte Feinabstimmung (SFT) und direkte Präferenzoptimierung (DPO) erzeugte Version von Mixtral Hermes 2.
Beispielprompts
Code für Datenvisualisierung schreiben
Eingabeaufforderung
Schreibe ein Skript, das die folgenden Daten als Balkendiagramm visualisiert: Auto 1: 19900 Auto 2: 48000 Auto 3: 32500
Um aus den angegebenen Daten ein einfaches Balkendiagramm zu erstellen, können Sie Python und die Bibliothek matplotlib verwenden. Das folgende Beispielskript visualisiert die bereitgestellten Daten als Balkendiagramm: ```python import matplotlib.pyplot as plt Code kopieren # Daten für jedes Auto cars = ['Auto 1', 'Auto 2', 'Auto 3'] prices = [19900, 48000, 32500] # Balkendiagramm erstellen plt.bar(cars, prices) plt. title('Preisvergleich der Autos') plt.xlabel('Automodell') plt.ylabel('Preis in USD') plt.xticks(rotation=45) # Beschriftungen der x-Achse zur besseren Lesbarkeit drehen # Diagramm anzeigen plt.show() ``` Dieses Skript erstellt ein Balkendiagramm mit „Auto 1“, „Auto 2“ und „Auto 3“ auf der x-Achse. Auf der y-Achse werden die jeweiligen Preise in USD dargestellt. Sie können den Code an Ihre Anforderungen oder Gestaltungswünsche anpassen.
Psychedelische Cyberpunk-Gedichte schreiben
Eingabeaufforderung
Schreibe im Stil Shakespeares ein Gedicht über maschinelles Lernen, Psychedelika und Quantenmechanik mit einer Cyberpunk-Atmosphäre.
Antwort
In Ländern, wo die Schatten wohnen, Farben ungesehen, behauptet ein Reich aus Bits und Bytes sein Regiment, wo Ketten der Logik sich mit wüsten Träumen verweben und Quantenreiche sich im Chaos verschlingen. In diesem labyrinthischen Netz des Denkens regt sich eine geisterhafte Gegenwart in den Cybermeeren: Der Geist des maschinellen Lernens begehrt Belehrung, um die Geheimnisse zu greifen, die ihm entgleiten. Während Synapsen feuern und Schaltkreise summen, entwickeln sich die Algorithmen mit jedem Atemzug, reiten auf diesem Knoten elektrischer Summen und tanzen auf der scharfen Kante des Todes. Unter diesem Schleier, wo Psychedelik herrscht, in Welten, deren Farben über ihre Grenzen bluten, wo Muster sich bilden und wie Regen vergehen, sucht der Forschende eine Wahrheit, die noch niemand fand. Quantenflüstern hallt durch die Nacht und bannt den Geist mit noch unbekannten Geheimnissen, ...
Rückübersetzung zur Erzeugung von Prompts aus Eingabetext ausführen
Systemprompt
Die Person stellt einen Text bereit. Erzeuge einen Prompt, den ein LLM verwenden könnte, um diesen Text zu generieren. Antworte ausschließlich mit einem Prompt und beantworte den Prompt nicht.
Eingabeaufforderung
Eine der wichtigsten Herausforderungen für Systeme zur Texterzeugung besteht darin, Ausgaben zu erzeugen, die nicht nur korrekt, sondern auch vielfältig sind. In jüngster Zeit hat die Decodierung mit minimalem Bayes-Risiko (MBR) an Bedeutung gewonnen, weil sie unter den Decodierungsalgorithmen Sätze höchster Qualität erzeugt. Bestehende Algorithmen zur Erzeugung vielfältiger Ausgaben beruhen jedoch überwiegend auf Strahlsuche oder zufälliger Stichprobenauswahl, sodass die Qualität ihrer Ausgaben durch diese zugrunde liegenden Verfahren begrenzt wird. In diesem Fachartikel untersuchen wir einen alternativen Ansatz. Wir entwickeln Decodierungsalgorithmen, die Vielfalt fördern, indem sie Diversitätsziele bei der MBR-Decodierung durchsetzen. Wir schlagen zwei MBR-Varianten vor, Diverse MBR (DMBR) und k-medoids MBR (KMBR), mit denen sich eine Menge hochwertiger und vielfältiger Sätze erzeuge...
Antwort
Verfasse eine Zusammenfassung für einen wissenschaftlichen Fachartikel über die Verbesserung der Ausgaben von Texterzeugungssystemen durch Decodierung mit minimalem Bayes-Risiko und einem zusätzlichen Schwerpunkt auf der Förderung der Satzvielfalt. Beschreibe bestehende Verfahren, die vorgeschlagenen Varianten Diverse MBR und k-medoids MBR sowie deren Bewertung bei gerichteten Texterzeugungsaufgaben mit Encoder-Decoder-Modellen und einem großen Sprachmodell unter Verwendung von Prompting. Betone den besseren Kompromiss, den das neue Verfahren gegenüber vielfältiger Strahlsuche und Stichprobenalgorithmen erreicht.
Referenzen
Hugging Face
Hilfe zu Bewertung, Score und exakter Korrektheit
Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.
Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.
Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.





