German (de) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
10000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
25000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
50000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
100000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
200000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizedewiki sample
original ein gedicht, bei dem die endbuchstaben ein wort oder einen satz ergeben, ist ein telestichon, trifft das für die mittleren buchstaben zu, handelt es s
datei:us autism 0 00 0000-0000.svg|mini|autismus der 0- bis 00-jährigen in den usa. prävalenz je 0000 einwohner von 0000 bis 0000. die zahl der autism
* ehrendoktorwürde in philosophie der hebräischen universität jerusalem, verliehen im jahr 0000 * ehrendoktorwürde der universität leipzig, verliehen
1000 ▁ein ▁ge d icht , ▁bei ▁dem ▁die ▁ end b uch st a ben ▁ein ▁w ort ▁oder ▁einen ▁s atz ▁er geben , ▁ist ▁ein ▁ tel est ich on , ▁t ri f ft ▁das ▁für ▁die ▁mit t ler en ▁b uch st a ben ▁zu , ▁hand elt ▁es ▁s
▁d ate i : us ▁aut is m ▁0 ▁00 ▁0000 -0000 . s v g | min i | aut is mus ▁der ▁0 - ▁bis ▁00 - j ähr igen ▁in ▁den ▁us a . ▁p rä v al enz ▁je ▁0000 ▁ein wo hn er ▁von ▁0000 ▁bis ▁0000. ▁die ▁z ahl ▁der ▁aut is m
▁* ▁e hr end o kt or w ür de ▁in ▁ph il os op h ie ▁der ▁he b rä ischen ▁univers ität ▁j er us al em , ▁ver lie hen ▁im ▁jahr ▁0000 ▁* ▁e hr end o kt or w ür de ▁der ▁univers ität ▁lei p z ig , ▁ver lie hen
3000 ▁ein ▁ged icht , ▁bei ▁dem ▁die ▁end buch sta ben ▁ein ▁w ort ▁oder ▁einen ▁s atz ▁er geben , ▁ist ▁ein ▁ tel est ich on , ▁tri f ft ▁das ▁für ▁die ▁mittler en ▁buch sta ben ▁zu , ▁hand elt ▁es ▁s
▁datei : us ▁aut is m ▁0 ▁00 ▁0000 -0000 . sv g | mini | aut ismus ▁der ▁0 - ▁bis ▁00- jähr igen ▁in ▁den ▁usa . ▁prä v al enz ▁je ▁0000 ▁einwohner ▁von ▁0000 ▁bis ▁0000. ▁die ▁zahl ▁der ▁aut is m
▁* ▁e hr end o ktor wür de ▁in ▁philosoph ie ▁der ▁he b rä ischen ▁universität ▁j er us al em , ▁verlie hen ▁im ▁jahr ▁0000 ▁* ▁e hr end o ktor wür de ▁der ▁universität ▁leipzig , ▁verlie hen
5000 ▁ein ▁ged icht , ▁bei ▁dem ▁die ▁end buch sta ben ▁ein ▁wort ▁oder ▁einen ▁s atz ▁er geben , ▁ist ▁ein ▁ tel est ich on , ▁tri f ft ▁das ▁für ▁die ▁mittler en ▁buch sta ben ▁zu , ▁handelt ▁es ▁s
▁datei : us ▁aut is m ▁0 ▁00 ▁0000 -0000 . sv g | mini | aut ismus ▁der ▁0- ▁bis ▁00- jährigen ▁in ▁den ▁usa . ▁prä v al enz ▁je ▁0000 ▁einwohner ▁von ▁0000 ▁bis ▁0000. ▁die ▁zahl ▁der ▁aut is m
▁* ▁ehr end o ktor wür de ▁in ▁philosophie ▁der ▁he b rä ischen ▁universität ▁jer us al em , ▁verliehen ▁im ▁jahr ▁0000 ▁* ▁ehr end o ktor wür de ▁der ▁universität ▁leipzig , ▁verliehen
10000 ▁ein ▁ged icht , ▁bei ▁dem ▁die ▁end buch staben ▁ein ▁wort ▁oder ▁einen ▁satz ▁ergeben , ▁ist ▁ein ▁tel est ich on , ▁trifft ▁das ▁für ▁die ▁mittleren ▁buchstaben ▁zu , ▁handelt ▁es ▁s
▁datei : us ▁aut is m ▁0 ▁00 ▁0000-0000 . svg | mini | aut ismus ▁der ▁0- ▁bis ▁00- jährigen ▁in ▁den ▁usa . ▁prä val enz ▁je ▁0000 ▁einwohner ▁von ▁0000 ▁bis ▁0000. ▁die ▁zahl ▁der ▁aut is m
▁* ▁ehr endoktor wür de ▁in ▁philosophie ▁der ▁he brä ischen ▁universität ▁jerusalem , ▁verliehen ▁im ▁jahr ▁0000 ▁* ▁ehr endoktor wür de ▁der ▁universität ▁leipzig , ▁verliehen
25000 ▁ein ▁gedicht , ▁bei ▁dem ▁die ▁end buch staben ▁ein ▁wort ▁oder ▁einen ▁satz ▁ergeben , ▁ist ▁ein ▁tel est ich on , ▁trifft ▁das ▁für ▁die ▁mittleren ▁buchstaben ▁zu , ▁handelt ▁es ▁s
▁datei : us ▁aut ism ▁0 ▁00 ▁0000-0000 . svg | mini | aut ismus ▁der ▁0- ▁bis ▁00- jährigen ▁in ▁den ▁usa . ▁prä val enz ▁je ▁0000 ▁einwohner ▁von ▁0000 ▁bis ▁0000. ▁die ▁zahl ▁der ▁aut ism
▁* ▁ehrendoktor würde ▁in ▁philosophie ▁der ▁hebrä ischen ▁universität ▁jerusalem , ▁verliehen ▁im ▁jahr ▁0000 ▁* ▁ehrendoktor würde ▁der ▁universität ▁leipzig , ▁verliehen
50000 ▁ein ▁gedicht , ▁bei ▁dem ▁die ▁end buchstaben ▁ein ▁wort ▁oder ▁einen ▁satz ▁ergeben , ▁ist ▁ein ▁tel est ich on , ▁trifft ▁das ▁für ▁die ▁mittleren ▁buchstaben ▁zu , ▁handelt ▁es ▁s
▁datei : us ▁aut ism ▁0 ▁00 ▁0000-0000. svg | mini | aut ismus ▁der ▁0- ▁bis ▁00- jährigen ▁in ▁den ▁usa . ▁prä val enz ▁je ▁0000 ▁einwohner ▁von ▁0000 ▁bis ▁0000. ▁die ▁zahl ▁der ▁aut ism
▁* ▁ehrendoktor würde ▁in ▁philosophie ▁der ▁hebräischen ▁universität ▁jerusalem , ▁verliehen ▁im ▁jahr ▁0000 ▁* ▁ehrendoktor würde ▁der ▁universität ▁leipzig , ▁verliehen
100000 ▁ein ▁gedicht , ▁bei ▁dem ▁die ▁end buchstaben ▁ein ▁wort ▁oder ▁einen ▁satz ▁ergeben , ▁ist ▁ein ▁tel est ichon , ▁trifft ▁das ▁für ▁die ▁mittleren ▁buchstaben ▁zu , ▁handelt ▁es ▁s
▁datei : us ▁aut ism ▁0 ▁00 ▁0000-0000. svg | mini | aut ismus ▁der ▁0- ▁bis ▁00- jährigen ▁in ▁den ▁usa . ▁prävalenz ▁je ▁0000 ▁einwohner ▁von ▁0000 ▁bis ▁0000. ▁die ▁zahl ▁der ▁aut ism
▁* ▁ehrendoktor würde ▁in ▁philosophie ▁der ▁hebräischen ▁universität ▁jerusalem , ▁verliehen ▁im ▁jahr ▁0000 ▁* ▁ehrendoktor würde ▁der ▁universität ▁leipzig , ▁verliehen