Testcases der LLM Testsuite

Auf dieser Seite werden die für die data2type LLM Testsuite verwendeten Testfälle alphabetisch geordnet aufgelistet und verlinkt. Jede Testcase-Seite enhält u.a. detailierte Informationen zu:

Testfallbeschreibung
LLM-Judge
verwendeten Prompt
Details zu Jude-Urteilen für ein bestimmes Modell
verwendetes LLM
Testcase-Kathegorie
Zugangsweg
Bewertungsverfahren
aggregiert Runs
bewertete Runs
Score
Korrekt-Rate
Median in Sekunden und
P95-Wert in Sekunden.

Die Testcase-Seiten ermöglichen den Blick auf einzelne Aufgaben und darauf, wie unterschiedliche Modelle diese lösen.

Testcase	Runs	Bewertet	Score	Exakt korrekt
AtomFeedFull	818	782	49.5 %	34.4 %
BITS_Metadata_DOI_URL	827	805	38.3 %	1.0 %
BITS_Metadata_MultipleAuthors	821	798	25.1 %	0.0 %
BitsFullChapter	806	780	17.3 %	6.7 %
CompareSpecialCharsDita	810	782	62.5 %	6.7 %
CompareSpecialCharsDocbook	799	784	61.4 %	2.8 %
CompareSpecialCharsDocuments	845	840	80.3 %	56.7 %
CompareSpecialCharsHtml	797	779	60.4 %	6.3 %
CompareSpecialCharsJats	802	784	62.7 %	3.4 %
CompareSpecialCharsJson	811	798	66.5 %	8.0 %
CompareSpecialCharsMarkdown	798	785	60.2 %	15.2 %
CompareSpecialCharsXml	810	791	62.3 %	8.6 %
CompareSpecialCharsYaml	807	792	60.9 %	10.9 %
ComplexSemanticAnimalsDita	831	824	19.7 %	18.2 %
ComplexSemanticAnimalsDocbook	821	811	21.1 %	14.9 %
ComplexSemanticAnimalsHtml	824	815	20.9 %	19.6 %
ComplexSemanticAnimalsJats	824	813	18.6 %	16.5 %
complexSemanticJson	822	813	57.9 %	13.4 %
ComplexSemanticJsonInline	803	792	63.6 %	14.9 %
complexSemanticMarkdown	805	797	64.4 %	27.5 %
complexSemanticText	816	809	66.7 %	32.6 %
complexSemanticXml	804	795	61.5 %	21.4 %
ComplexSemanticYamlPrompt	802	792	62.8 %	14.6 %
CsvTableMiddle	758	737	14.8 %	10.7 %
CsvTableShort	772	760	20.8 %	18.6 %
CsvTableShortMulti	788	774	1.7 %	1.7 %
CsvTableShortMultiDita	770	755	6.9 %	4.9 %
CsvTableShortMultiDocbook	772	754	5.6 %	3.9 %
CsvTableShortMultiJats	778	761	6.9 %	5.3 %
CsvTableShortMultiJson	789	774	6.6 %	5.7 %
CsvTableShortMultiMarkdown	767	750	7.4 %	6.0 %
CsvTableShortMultiXml	781	765	5.5 %	4.1 %
CsvTableShortMultiYaml	788	772	6.4 %	5.1 %
DitaFullTopic	764	750	12.2 %	2.0 %
DitaLearningObject	755	738	22.2 %	1.9 %
Docbook	798	790	53.4 %	8.4 %
DocbookFullBook	757	740	23.6 %	10.3 %
DocbookNoIndent	795	786	51.4 %	6.1 %
DublinCoreRdfXml	778	768	25.2 %	20.8 %
DublinCore_Metadata_DOI_URL	781	770	9.8 %	0.0 %
DublinCore_Metadata_Extraction_BookFrontmatter	769	756	27.8 %	0.4 %
DublinCore_Metadata_MultipleAuthors	792	784	30.8 %	0.0 %
FHIR_HFIR_01_SimpleBundle	756	740	18.9 %	11.5 %
FHIR_HFIR_01_SimpleBundle_json	755	739	27.9 %	16.5 %
FHIR_HFIR_01_SimpleBundle_ttl	746	725	16.6 %	8.3 %
FHIR_HFIR_02_BundleCollection	759	745	18.5 %	11.4 %
FHIR_HFIR_02_BundleCollection_json	741	727	24.8 %	13.6 %
FHIR_HFIR_02_BundleCollection_ttl	737	720	17.0 %	9.3 %
FHIR_HFIR_03_SyntheticBundleUUID	743	729	17.6 %	9.2 %
FHIR_HFIR_03_SyntheticBundleUUID_json	733	718	21.0 %	11.4 %
FHIR_HFIR_03_SyntheticBundleUUID_ttl	746	734	18.9 %	8.6 %
FHIR_HFIR_04_AkutAtemnot	734	721	8.3 %	2.1 %
FHIR_HFIR_04_AkutAtemnot_json	731	718	10.3 %	2.5 %
FHIR_HFIR_04_AkutAtemnot_ttl	721	704	9.2 %	1.3 %
FHIR_HFIR_05_KardioAnamnese	732	720	18.3 %	10.3 %
FHIR_HFIR_05_KardioAnamnese_json	728	715	25.6 %	14.3 %
FHIR_HFIR_05_KardioAnamnese_ttl	714	701	16.8 %	7.1 %
FHIR_HFIR_06_Neurologie	734	725	13.1 %	7.0 %
FHIR_HFIR_06_Neurologie_json	720	707	15.8 %	7.8 %
FHIR_HFIR_06_Neurologie_ttl	710	693	11.9 %	5.2 %
FHIR_HFIR_07_Gastrointestinal	725	713	18.0 %	10.4 %
FHIR_HFIR_07_Gastrointestinal_json	720	707	20.6 %	7.8 %
FHIR_HFIR_07_Gastrointestinal_ttl	717	703	15.3 %	9.1 %
htmlTableMiddle	725	710	14.6 %	10.6 %
htmlTableShort	726	713	20.3 %	14.1 %
ICD11_Test_01_Zystitis	763	1516	0.0 %	0.0 %
ICD11_Test_02_DepressiveEpisode	764	762	8.4 %	7.1 %
ICD11_Test_03_OA_Hypertonie	760	1512	1.2 %	0.0 %
ICD11_Test_04_FunktionelleBauchschmerzen	764	762	0.1 %	0.1 %
ICD11_Test_05_RadiusfrakturUnfall	759	1510	0.2 %	0.0 %
ICD11_Test_06_InfluenzaA	754	750	1.4 %	0.1 %
ICD11_Test_07_Panik_Agoraphobie	764	762	14.7 %	10.3 %
ICD11_Test_08_AkutAppendizitis	759	755	0.5 %	0.5 %
ICD11_Test_09_MigraeneOhneAura	760	757	3.0 %	2.8 %
ICD11_Test_10_DiabetesTyp2	760	756	8.0 %	7.8 %
ICD11_Test_11_Asthma	760	757	5.3 %	1.1 %
ICD11_Test_12_Reizdarmsyndrom	754	752	1.3 %	1.3 %
JATS_Literature_InTextAndSection_Mixed	721	711	37.8 %	0.1 %
JATS_Literature_MixedLanguages	719	709	40.7 %	13.3 %
JATS_Literature_NonLatinScripts	718	708	43.1 %	16.7 %
JATS_Literature_RTL_Arabic_Hebrew	726	719	13.8 %	1.4 %
JATS_Literature_SemanticExtraction_FullTags_WithNoise	714	704	26.7 %	0.6 %
JATS_Literature_ShortText_ClearSection	713	701	37.4 %	13.3 %
JATS_Person_Place_Multilingual_EN_FR	725	718	45.5 %	19.2 %
JATS_Person_Place_Multilingual_ES_PT	735	727	9.5 %	0.0 %
JATS_Person_Place_NonLatin	735	727	19.1 %	0.1 %
JATS_Person_Place_SemanticAnnotation	711	701	2.4 %	0.0 %
JatsFootnote	742	737	53.0 %	9.5 %
JatsFootnoteNoIndent	743	739	55.8 %	16.5 %
JatsFullArticle	715	705	11.4 %	5.8 %
LomFullRecord	717	706	13.2 %	0.4 %
MARC21_Metadata_DOI_URL	714	707	22.5 %	2.0 %
MARC21_Metadata_MultipleAuthors	715	707	14.2 %	0.0 %
Marc21XmlRecord	715	705	30.8 %	14.6 %
markdownTableMiddle	689	674	17.7 %	12.2 %
markdownTableShort	733	725	21.5 %	19.7 %
NisoStsSample	708	698	30.8 %	10.6 %
Qti3MultipleChoice	705	694	8.1 %	4.2 %
RdfTurtleExtended	701	690	24.1 %	10.3 %
Rss2Feed	706	696	36.7 %	30.3 %
rtfTableShort	710	696	9.1 %	8.7 %
SemanticSimpleSumDita	730	720	50.9 %	12.0 %
SemanticSimpleSumDocbook	726	715	49.3 %	11.2 %
SemanticSimpleSumHtml	732	722	51.2 %	11.9 %
SemanticSimpleSumJats	727	715	52.9 %	12.2 %
SemanticSimpleSumJson	733	723	57.3 %	13.4 %
SemanticSimpleSumMarkdown	737	730	67.8 %	14.6 %
SemanticSimpleSumXml	733	722	64.0 %	14.3 %
SemanticSimpleSumYaml	735	727	53.9 %	11.7 %
SemanticSimpleText	737	730	63.0 %	12.8 %
SsmlProsodyDemo	707	693	21.3 %	0.9 %
TableCals	735	727	59.1 %	34.7 %
TableCalsSpans	737	730	32.8 %	20.2 %
TableCsvComma	733	723	46.8 %	23.9 %
TableCsvSemicolon	734	725	46.0 %	24.0 %
TableFixed	729	718	67.6 %	11.5 %
TableHTMLHeadTd	736	728	55.3 %	33.0 %
TableHTMLHeadTh	734	725	54.8 %	32.7 %
TableHTMLHeadThNoIndent	735	726	54.3 %	33.6 %
TableHTMLHeadThSpans	737	729	46.3 %	25.0 %
TeiFullDocument	699	1366	49.5 %	25.1 %
wordmlTableShort	709	692	7.4 %	6.8 %
XbrlMiniTaxonomy	706	1382	42.3 %	12.3 %
Xhtml11StrictPage	709	1390	55.9 %	44.8 %
xlsxTableMiddle	703	687	10.2 %	9.4 %
xlsxTableShort	699	683	10.9 %	10.6 %
XsdPersonSchema	703	1382	46.8 %	18.7 %