nuextract:3.8b im LLM-Testsuite-Report

Modellbeschreibung

Ein auf Phi-3 basierendes 3.8B-Modell, das mit einem privaten hochwertigen synthetischen Datensatz für die Informationsextraktion feinabgestimmt wurde.

Modellfamilienuextract
Kontext4K
InputText
Größe22 GB
Familiengrößen38b

Readme-Auszug

Modell zur Strukturextraktion von NuMind 🔥

NuExtract ist eine Version von phi-3-mini, die mit einem privaten hochwertigen synthetischen Datensatz für die Informationsextraktion feinabgestimmt wurde. Stellen Sie zur Verwendung des Modells einen Eingabetext mit weniger als 2.000 Tokens sowie eine JSON-Vorlage bereit, die die zu extrahierenden Informationen beschreibt.

Hinweis: Dieses Modell arbeitet ausschließlich extraktiv. Jeder vom Modell ausgegebene Text ist daher unverändert im Ausgangstext enthalten. Sie können zusätzlich ein Beispiel für die Ausgabeformatierung angeben, damit das Modell Ihre Aufgabe genauer versteht.

Verwendung

Promptformat

Dieses Modell funktioniert bei der Textextraktion am besten mit einem bestimmten Promptformat:

### Vorlage: { "Modell": { "Name": "", "Anzahl der Parameter": "", }, "Verwendung": { "Anwendungsfall": [], "Lizenz": "" } } ### Beispiel: { "Modell": { "Name": "Llama3", "Anzahl der Parameter": "8 Milliarden", }, "Verwendung": { "Anwendungsfall":[ "Chat", "Codevervollständigung" ], "Lizenz": "Meta Llama3" } } ### Text: Wir stellen Mistral 7B vor, ein Sprachmodell mit 7 Milliarden Parametern, das für überlegene Leistung und Effizienz entwickelt wurde. Mistral 7B übertrifft das beste offene 13B-Modell Llama 2 in allen bewerteten Benchmarks sowie das beste veröffentlichte 34B-Modell Llama 1 beim Schlussfolgern, in Mathematik und bei der Codegenerierung. Unser Modell nutzt Grouped-Query Attention (GQA) für eine schnellere Inferenz und kombiniert dies mit Sliding-Window Attention (SWA), um Sequenzen beliebiger Länge mit geringeren Inferenzkosten wirksam zu verarbeiten. Wir stellen außerdem ...

Referenzen

Hugging Face

1270 Runs 1340 bewertet 23.0 % Score 5.3 % exakt korrekt
Hilfe zu Bewertung, Score und exakter Korrektheit

Score ist eine abgestufte Gütebewertung: correct = 100 %, mostly_correct = 80 %, partial = 50 %, wrong/not_answered = 0 %.

Exakt korrekt ist strenger: Nur Runs mit dem Label correct zählen. Mostly correct erhöht den Score, zählt aber nicht als exakt korrekt.

Bewertet zählt alle Runs mit fachlichem Urteil. Bei LLM-Judge-Ergebnissen zählen auch Judge-Fehler als bewertet, aber mit Score 0 %.

Erzeugt am