Lak (lbe) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix

Embedding matrix plots

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizelbewiki sample
original аьрасатнал финно-угорнал халкьри. удмурт халкьуннал аьдад 000 азара инсан. удмурт халкь ххачпарасти.
сурат:vikipedi-000000articles-logo.png|000 азара макьала сурат:noktali000000.jpg|000 азара макьала сурат:tr-logo00k.png|00 азара макьала
туркиясса шагьру ва агъры ильданул район. агьалинал аьдад 000 000 инсан (адимина: 00 000; хъамитайпа: 00 000)
1000 ▁аьрасат нал ▁ф инн о - у г ор нал ▁халкьри . ▁у д мур т ▁халкьуннал ▁аьдад ▁000 ▁азара ▁инсан . ▁у д мур т ▁халкь ▁ххачпарасти .
▁сурат : vi k i p ed i - 0000 00 art ic l es - l o g o . p n g |000 ▁азара ▁макьала ▁сурат : n o k t al i 0000 00. jpg |000 ▁азара ▁макьала ▁сурат : t r - l o g o 00 k . p n g | 00 ▁азара ▁макьала
▁туркиясса ▁шагьру ▁ва ▁а гъ ры ▁ильданул ▁район . ▁агьалинал ▁аьдад ▁000 ▁000 ▁инсан ▁( адимина : ▁00 ▁000; ▁хъамитайпа : ▁00 ▁000)
3000 ▁аьрасатнал ▁финно - угорнал ▁халкьри . ▁уд мурт ▁халкьуннал ▁аьдад ▁000 ▁азара ▁инсан . ▁уд мурт ▁халкь ▁ххачпарасти .
▁сурат : vi kip ed i - 0000 00 art ic l es - l og o . png |000 ▁азара ▁макьала ▁сурат : n o k t al i 0000 00. jpg |000 ▁азара ▁макьала ▁сурат : t r - l og o 00 k . png | 00 ▁азара ▁макьала
▁туркиясса ▁шагьру ▁ва ▁агъры ▁ильданул ▁район . ▁агьалинал ▁аьдад ▁000 ▁000 ▁инсан ▁( адимина : ▁00 ▁000; ▁хъамитайпа : ▁00 ▁000)
5000 ▁аьрасатнал ▁финно - угорнал ▁халкьри . ▁удмурт ▁халкьуннал ▁аьдад ▁000 ▁азара ▁инсан . ▁удмурт ▁халкь ▁ххачпарасти .
▁сурат : vi kip ed i -0000 00 art ic les - logo . png |000 ▁азара ▁макьала ▁сурат : no k tal i 0000 00. jpg |000 ▁азара ▁макьала ▁сурат : t r - logo 00 k . png | 00 ▁азара ▁макьала
▁туркиясса ▁шагьру ▁ва ▁агъры ▁ильданул ▁район . ▁агьалинал ▁аьдад ▁000 ▁000 ▁инсан ▁( адимина : ▁00 ▁000; ▁хъамитайпа : ▁00 ▁000)