Sprachmodelle der LLM Testsuite

Auf dieser Seite werden die für die data2type LLM Testsuite getesteten Sprachmodelle alphabetisch geordnet aufgelistet und verlinkt. Jede Sprachmodell-Seite enhält u.a. detailierte Informationen zu:

Modellbeschreibung mit Readme-Auszug, Hauptmerkmalen und Referenzen
Details zu Jude-Urteilen für das Modell
Testcase
Testcase-Kategorien
Bewertungsverfahren
aggregiert Runs
bewertete Runs
Score und
Korrekt-Rate.

Jede Modell-Seite bündelt die Ergebnisse aus Sicht eines einzelnen Sprachmodells und macht seine Stärken und Schwächen über verschiedene Fähigkeiten und Testkategorien hinweg sichtbar.

Modell	Runs	Bewertet	Score	Exakt korrekt
aya-expanse:8b	1270	1340	33.0 %	6.5 %
aya-expanse:latest	1270	1340	32.3 %	6.6 %
aya:8b	1270	1340	32.9 %	9.0 %
bespoke-minicheck:latest	1270	1340	7.9 %	4.5 %
codegeex4:latest	1266	1335	37.5 %	8.2 %
codegemma:latest	1270	1340	36.2 %	11.5 %
codellama:7b	1270	1340	27.8 %	5.0 %
codellama:latest	1270	1340	27.7 %	4.4 %
codeqwen:7b	1269	1338	30.1 %	4.9 %
codeqwen:latest	1270	1340	30.6 %	4.9 %
codestral:22b	1261	1330	36.2 %	7.7 %
codestral:latest	1270	1340	37.1 %	7.1 %
codeup:13b	1270	1340	26.3 %	1.4 %
codeup:latest	1270	1340	27.1 %	1.6 %
command-r7b:7b	1270	1340	35.3 %	9.8 %
command-r:35b	677	637	35.9 %	22.3 %
deepcoder:14b	469	462	46.1 %	5.6 %
deepscaler:1.5b	381	402	22.2 %	0.2 %
deepseek-coder-v2:16b	380	400	37.6 %	5.5 %
deepseek-coder:33b	34	1	0.0 %	0.0 %
deepseek-coder:6.7b	381	401	17.2 %	2.0 %
deepseek-llm:7b	381	402	15.3 %	0.7 %
deepseek-r1:1.5b	381	402	20.1 %	0.5 %
deepseek-r1:14b	375	391	41.2 %	9.5 %
deepseek-r1:32b	128	1	0.0 %	0.0 %
deepseek-r1:8b	349	342	36.9 %	7.9 %
deepseek-v2:16b	380	400	19.1 %	2.8 %
deepseek-v3.1:671b-cloud	633	667	70.7 %	53.7 %
deepseek-v3.2:cloud	633	666	75.3 %	57.7 %
deepseek-v4-pro:cloud	629	659	78.1 %	62.7 %
devstral:24b	211	125	27.9 %	10.4 %
dolphin-llama3:70b	67	23	26.5 %	30.4 %
dolphin-mistral:7b	379	399	25.8 %	4.0 %
dolphin-mixtral:8x7b	358	262	27.5 %	9.2 %
dolphin-phi:2.7b	381	402	12.8 %	0.0 %
dolphin3:8b	381	402	31.0 %	6.2 %
dolphincoder:15b	725	732	30.2 %	5.3 %
dolphincoder:7b	521	530	24.2 %	3.0 %
duckdb-nsql:7b	760	801	4.9 %	0.1 %
everythinglm:13b	757	792	16.5 %	0.9 %
exaone-deep:7.8b	381	402	27.8 %	2.5 %
falcon2:11b	381	402	7.2 %	0.0 %
falcon3:1b	381	402	13.6 %	0.2 %
falcon3:3b	762	804	22.8 %	5.8 %
falcon:40b	36	14	2.9 %	0.0 %
firefunction-v2:70b	194	104	24.2 %	33.7 %
gemma2:27b	111	79	44.7 %	39.2 %
gemma2:2b	381	402	28.3 %	9.2 %
gemma3:1b	381	402	16.6 %	6.2 %
gemma3:270m	381	402	8.2 %	1.5 %
gemma3n:e2b	381	402	26.5 %	9.2 %
gemma4:31b-cloud	635	668	71.9 %	52.2 %
gemma:2b	381	402	16.5 %	3.0 %
gemma:7b	558	567	31.4 %	9.3 %
gemma:latest	381	402	30.9 %	9.5 %
glm-4.6:cloud	633	516	60.2 %	49.2 %
glm-4.7:cloud	633	640	71.1 %	56.9 %
glm-5:cloud	635	664	72.5 %	57.4 %
gpt-4.1	635	670	78.3 %	60.0 %
gpt-4.1-mini	635	670	66.3 %	48.4 %
gpt-4.1-nano	632	666	53.3 %	26.4 %
gpt-oss-safeguard:20b	381	402	53.4 %	12.4 %
gpt-oss:120b-cloud	635	667	75.9 %	60.1 %
gpt-oss:20b	381	402	51.0 %	14.7 %
gpt-oss:20b-cloud	635	669	66.0 %	50.2 %
granite-code:20b	381	402	20.8 %	3.5 %
granite-code:34b	217	133	10.6 %	7.5 %
granite3-dense:2b	381	402	27.8 %	5.7 %
granite3-dense:8b	381	402	37.4 %	6.7 %
granite3-guardian:latest	381	402	0.0 %	0.0 %
granite3-moe:1b	381	402	13.5 %	0.7 %
granite3-moe:3b	381	402	24.4 %	3.2 %
granite3-moe:latest	381	402	14.2 %	0.2 %
granite4:3b	381	402	34.4 %	13.7 %
granite4:latest	381	402	32.4 %	16.9 %
hermes3:3b	381	402	26.5 %	5.5 %
hermes3:8b	381	402	31.8 %	10.9 %
hermes3:latest	381	402	33.5 %	11.9 %
internlm2:1.8b	1270	1340	12.8 %	0.2 %
internlm2:1m	1456	1526	19.4 %	2.0 %
internlm2:7b	1270	1340	25.4 %	2.2 %
llama-pro:8b-instruct-fp16	65	44	28.8 %	27.3 %
llama-pro:8b-instruct-q2_K	1263	1332	18.7 %	2.0 %
llama-pro:8b-instruct-q3_K_M	1269	1338	20.2 %	1.8 %
llama-pro:8b-instruct-q3_K_S	1270	1339	18.1 %	1.8 %
llama-pro:8b-text-q5_K_M	637	638	3.3 %	0.0 %
llama-pro:text	842	819	4.1 %	0.6 %
llama2:13b	276	234	19.2 %	5.6 %
llama3-chatqa:8b	1270	1340	30.2 %	16.6 %
llama3-gradient:8b	1270	1340	25.9 %	7.8 %
llama3:8b	381	401	35.2 %	8.5 %
llava:34b	91	50	24.5 %	18.0 %
magicoder:7b	1263	1332	17.8 %	2.3 %
mathstral:7b	1270	1340	32.8 %	10.1 %
meditron:70b	8	3	0.0 %	0.0 %
meditron:7b	1270	1340	9.0 %	0.0 %
medllama2:7b	1270	1340	12.2 %	0.4 %
minimax-m2.5:cloud	419	367	65.7 %	61.9 %
minimax-m2:cloud	635	670	72.7 %	58.4 %
mistral-openorca:7b	1270	1340	23.6 %	5.5 %
mistral-small:22b	60	0
nemotron-3-nano:30b-cloud	635	670	61.2 %	42.5 %
nemotron-mini:4b	1270	1340	23.7 %	15.8 %
neural-chat:7b	1270	1340	22.7 %	5.4 %
nexusraven:13b	1261	1320	10.1 %	0.2 %
notus:7b	1270	1340	25.3 %	2.5 %
nous-hermes2-mixtral:8x7b	565	548	33.0 %	8.6 %
nous-hermes:13b	456	455	20.6 %	5.9 %
nuextract:3.8b	1270	1340	23.0 %	5.3 %
o3	627	658	75.9 %	64.1 %
o3-mini	635	670	74.9 %	54.6 %
olmo2:13b	1270	1340	28.4 %	6.0 %
open-orca-platypus2:13b	1214	1270	31.5 %	9.2 %
openchat:7b	1270	1340	28.7 %	6.9 %
openhermes:7b-mistral-v2-fp16	180	180	53.6 %	11.1 %
openhermes:7b-mistral-v2-q2_K	1270	1340	22.0 %	3.3 %
openhermes:7b-mistral-v2-q3_K_L	1270	1340	24.8 %	3.8 %
openhermes:7b-mistral-v2-q4_K_M	1270	1340	26.0 %	5.3 %
openhermes:7b-mistral-v2-q5_0	1270	1340	26.7 %	5.9 %
openhermes:7b-mistral-v2-q5_1	1270	1340	6.0 %	1.8 %
openhermes:7b-v2	180	180	51.4 %	12.8 %
openhermes:v2.5	1270	1340	27.0 %	5.4 %
qwen3-vl:235b-cloud	635	668	71.3 %	56.0 %
qwen3.5:397b-cloud	604	624	74.4 %	59.5 %
qwen:0.5b	1270	1340	5.3 %	0.1 %
qwen:1.8b	1270	1340	10.5 %	0.7 %
qwen:14b	1264	1333	25.6 %	2.0 %
qwen:32b	687	647	38.6 %	20.1 %
qwen:4b	1270	1340	14.3 %	2.7 %
qwen:7b	1270	1340	18.9 %	2.4 %