Uzbek (uz) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
10000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
25000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
50000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
100000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
200000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizeuzwiki sample
original shaharda 0 oliy oʻquv yurti (qirgʻiziston milliy universiteti, qirgʻiziston — rossiya slavyan universiteti, texnika universiteti, qishloq xoʻjaligi ak
garmonik tuzulishi jixatidan bossa-nova oʻzining nozik yettinchi va uzaytirilgan torlarining ishlarilishi bilan jazz orasida juda koʻp umumiyliklarga
samarqand universitetining tarixiy ildizi temuriylar davriga borib taqaladi. ilmu-fan, ma'naviyat va ma'rifat targ'ibotchilari bo'lgan temuriylar huku
1000 ▁shahar da ▁0 ▁o liy ▁o ʻ q uv ▁y ur ti ▁( qi rg ʻ i zi ston ▁milliy ▁uni ver si te ti , ▁qi rg ʻ i zi ston ▁— ▁ro s siya ▁s la v yan ▁uni ver si te ti , ▁te xni ka ▁uni ver si te ti , ▁qishloq ▁xo ʻ ja ligi ▁ak
▁g ar m oni k ▁tuz u lishi ▁j ix ati dan ▁bo s sa - n ov a ▁o ʻ z ining ▁n o zi k ▁y et t inchi ▁va ▁uz ay tiri lgan ▁t or larining ▁ish lari lishi ▁bilan ▁j a z z ▁ora sida ▁j uda ▁ko ʻ p ▁umumiy lik larga
▁sam arq and ▁uni ver si tet ining ▁tarix iy ▁il di zi ▁te mu riy lar ▁dav ri ga ▁bo rib ▁ta qa ladi . ▁il mu - f an , ▁ma ' n av iyat ▁va ▁ma ' ri f at ▁tar g ' i b ot chi lari ▁bo ' lgan ▁te mu riy lar ▁h uk u
3000 ▁shahar da ▁0 ▁oliy ▁o ʻ quv ▁yur ti ▁( qi rg ʻ izi ston ▁milliy ▁universiteti , ▁qirg ʻ izi ston ▁— ▁rossiya ▁s lav yan ▁universiteti , ▁texnika ▁universiteti , ▁qishloq ▁xo ʻ jaligi ▁ak
▁gar m onik ▁tuz u lishi ▁j ix atidan ▁bos sa - n ova ▁o ʻ zining ▁no zik ▁yet t inchi ▁va ▁uz ay tirilgan ▁tor larining ▁ishlari lishi ▁bilan ▁j az z ▁orasida ▁juda ▁ko ʻ p ▁umumiy lik larga
▁samarqand ▁universitet ining ▁tarixiy ▁ildi zi ▁te muriy lar ▁davri ga ▁bo rib ▁ta qa ladi . ▁il mu - f an , ▁ma ' n av iyat ▁va ▁ma ' ri fat ▁tar g ' ib ot chilari ▁bo ' lgan ▁te muriy lar ▁huk u
5000 ▁shaharda ▁0 ▁oliy ▁o ʻ quv ▁yurti ▁( qi rg ʻ iziston ▁milliy ▁universiteti , ▁qirg ʻ iziston ▁— ▁rossiya ▁s lav yan ▁universiteti , ▁texnika ▁universiteti , ▁qishloq ▁xo ʻ jaligi ▁ak
▁gar m onik ▁tuz u lishi ▁j ix atidan ▁bos sa - n ova ▁o ʻ zining ▁no zik ▁yet t inchi ▁va ▁uz ay tirilgan ▁tor larining ▁ishlari lishi ▁bilan ▁j az z ▁orasida ▁juda ▁ko ʻ p ▁umumiy lik larga
▁samarqand ▁universitet ining ▁tarixiy ▁ildi zi ▁te muriy lar ▁davriga ▁borib ▁ta qa ladi . ▁il mu - fan , ▁ma ' nav iyat ▁va ▁ma ' rifat ▁targ ' ib ot chilari ▁bo ' lgan ▁te muriy lar ▁huk u
10000 ▁shaharda ▁0 ▁oliy ▁o ʻ quv ▁yurti ▁( qirg ʻ iziston ▁milliy ▁universiteti , ▁qirg ʻ iziston ▁— ▁rossiya ▁slavyan ▁universiteti , ▁texnika ▁universiteti , ▁qishloq ▁xo ʻ jaligi ▁ak
▁gar m onik ▁tuz u lishi ▁j ix atidan ▁bos sa - n ova ▁o ʻ zining ▁nozik ▁yet t inchi ▁va ▁uz ay tirilgan ▁tor larining ▁ishlari lishi ▁bilan ▁jaz z ▁orasida ▁juda ▁ko ʻ p ▁umumiy liklarga
▁samarqand ▁universitet ining ▁tarixiy ▁ildizi ▁temuriylar ▁davriga ▁borib ▁taqa ladi . ▁il mu - fan , ▁ma ' nav iyat ▁va ▁ma ' rifat ▁targ ' ib ot chilari ▁bo ' lgan ▁temuriylar ▁huk u
25000 ▁shaharda ▁0 ▁oliy ▁o ʻ quv ▁yurti ▁( qirg ʻ iziston ▁milliy ▁universiteti , ▁qirg ʻ iziston ▁— ▁rossiya ▁slavyan ▁universiteti , ▁texnika ▁universiteti , ▁qishloq ▁xo ʻ jaligi ▁ak
▁garmonik ▁tuz u lishi ▁jix atidan ▁bos sa - nova ▁o ʻ zining ▁nozik ▁yettinchi ▁va ▁uzay tirilgan ▁tor larining ▁ishlari lishi ▁bilan ▁jaz z ▁orasida ▁juda ▁ko ʻ p ▁umumiy liklarga
▁samarqand ▁universitet ining ▁tarixiy ▁ildizi ▁temuriylar ▁davriga ▁borib ▁taqaladi . ▁il mu - fan , ▁ma ' naviyat ▁va ▁ma ' rifat ▁targ ' ibot chilari ▁bo ' lgan ▁temuriylar ▁huk u
50000 ▁shaharda ▁0 ▁oliy ▁o ʻ quv ▁yurti ▁( qirg ʻ iziston ▁milliy ▁universiteti , ▁qirg ʻ iziston ▁— ▁rossiya ▁slavyan ▁universiteti , ▁texnika ▁universiteti , ▁qishloq ▁xo ʻ jaligi ▁ak
▁garmonik ▁tuzu lishi ▁jixatidan ▁bossa - nova ▁o ʻ zining ▁nozik ▁yettinchi ▁va ▁uzay tirilgan ▁tor larining ▁ishlari lishi ▁bilan ▁jazz ▁orasida ▁juda ▁ko ʻ p ▁umumiy liklarga
▁samarqand ▁universitet ining ▁tarixiy ▁ildizi ▁temuriylar ▁davriga ▁borib ▁taqaladi . ▁ilmu - fan , ▁ma ' naviyat ▁va ▁ma ' rifat ▁targ ' ibot chilari ▁bo ' lgan ▁temuriylar ▁huku
100000 ▁shaharda ▁0 ▁oliy ▁o ʻ quv ▁yurti ▁( qirg ʻ iziston ▁milliy ▁universiteti , ▁qirg ʻ iziston ▁— ▁rossiya ▁slavyan ▁universiteti , ▁texnika ▁universiteti , ▁qishloq ▁xo ʻ jaligi ▁ak
▁garmonik ▁tuzulishi ▁jixatidan ▁bossa - nova ▁o ʻ zining ▁nozik ▁yettinchi ▁va ▁uzaytirilgan ▁tor larining ▁ishlari lishi ▁bilan ▁jazz ▁orasida ▁juda ▁ko ʻ p ▁umumiy liklarga
▁samarqand ▁universitet ining ▁tarixiy ▁ildizi ▁temuriylar ▁davriga ▁borib ▁taqaladi . ▁ilmu - fan , ▁ma ' naviyat ▁va ▁ma ' rifat ▁targ ' ibotchilari ▁bo ' lgan ▁temuriylar ▁huku