bespoke-minicheck:latest im LLM-Testsuite-Report

Dies ist ein quellengebundenes Modell zur Überprüfung faktischer Richtigkeit, das von Bespoke Labs.

Das Modell erhält ein Dokument (Text) und einen Satz als Eingabe und bestimmt, ob der Satz durch das Dokument gestützt wird. Um eine aus mehreren Sätzen bestehende Behauptung zu prüfen, sollte sie zunächst in einzelne Sätze zerlegt werden. Das Dokument muss nicht in Chunks aufgeteilt werden, sofern es 32K Tokens nicht überschreitet.

Bespoke-MiniCheck ist trotz seiner geringen Größe das aktuell leistungsfähigste Modell zur Faktenprüfung.

Verwendung

Die Promptvorlage lautet wie folgt:

Dokument: {document} Behauptung: {claim}

Die Antwort lautet entweder Ja oder Nein.

Beispiele

Eingabeaufforderung

Dokument: Eine Gruppe von Schülerinnen und Schülern trifft sich in der Schulbibliothek, um für die bevorstehenden Abschlussprüfungen zu lernen. Behauptung: Die Schülerinnen und Schüler bereiten sich auf eine Prüfung vor.

Antwort

Ja

Eingabeaufforderung

Dokument: Eine Gruppe von Schülerinnen und Schülern trifft sich in der Schulbibliothek, um für die bevorstehenden Abschlussprüfungen zu lernen. Behauptung: Die Schülerinnen und Schüler sind im Urlaub.

Antwort

Nein

Modellleistung

Die Leistung dieser Modelle wird anhand unseres neu zusammengestellten Benchmarks bewertet, der unseren Modellen während des Trainings nicht bekannt war, LLM-AggreFact, der aus 11 aktuellen, von Menschen annotierten Datensätzen zur Faktenprüfung und zur Fundierung von LLM-Ausgaben besteht. Bespoke-MiniCheck-7B ist trotz seiner geringen Größe das aktuell leistungsfähigste Modell zur Faktenprüfung.

Referenzen

Website

Fachartikel

LLM-AggreFact-Bestenliste