Komi (kv) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 10000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 25000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | kvwiki sample |
|---|---|
| original | а.а. чеусовӧс кыкысь арестуйтлісны да пуксьӧдлісны. 0000 воын сійӧс мыждісны кыдзи «буржуазнӧй националистӧс», пукаліс казахстанын. 0000 воӧ чеусовӧс любительяслӧн рингын проводников нуӧдіс 000 тыш, вермис 000 тышын. спортса мастер. 0000 воын вермис любительяслӧн «eurocadet junior championship» турн # ''cyrtopodium dusenii'' schltr. # ''cyrtopodium eugenii'' rchb.f. & warm. in h.g.reichenbach # ''cyrtopodium flavum'' (nees) link & otto ex rchb. # |
| 1000 | ▁а . а . ▁ч е у с ов ӧс ▁к ы к ысь ▁а ре ст у й т л іс ны ▁да ▁п у к сь ӧд л іс ны . ▁0000 ▁воын ▁с і й ӧс ▁м ы ж д іс ны ▁к ыд з и ▁« б ур ж у а з н ӧй ▁на ци о на ли ст ӧс » , ▁п у ка л іс ▁к а з а х ст ан ын . ▁0000 ▁во ӧ ▁ч е у с ов ӧс ▁л ю б ит е ль яс лӧн ▁ р ин г ын ▁п р ов о д ник ов ▁н у ӧд іс ▁000 ▁т ы ш , ▁в ер ми с ▁000 ▁т ы ш ын . ▁с п ор т са ▁м а ст ер . ▁0000 ▁воын ▁в ер ми с ▁л ю б ит е ль яс лӧн ▁« e u ro c a d e t ▁ j u n i or ▁ ch a m p i on s h i p » ▁т ур н ▁# ▁'' c y r t o p o d i um ▁d us en i i '' ▁s ch l t r . ▁# ▁'' c y r t o p o d i um ▁ e u g en i i '' ▁ r ch b . f . ▁ & ▁ w ar m . ▁ in ▁h . g . r e i ch en b a ch ▁# ▁'' c y r t o p o d i um ▁ f la v um '' ▁( n e es ) ▁l in k ▁ & ▁ o t t o ▁ e x ▁ r ch b . ▁# |
| 3000 | ▁а . а . ▁ч е ус ов ӧс ▁кык ысь ▁а ре ст у йт лісны ▁да ▁пук сь ӧд лісны . ▁0000 ▁воын ▁сійӧс ▁мы жд існы ▁кыдзи ▁« бур ж у а з нӧй ▁национа лист ӧс », ▁пука ліс ▁ка за х стан ын . ▁0000 ▁воӧ ▁ч е ус ов ӧс ▁лю б итель яслӧн ▁р ин г ын ▁п ров од ник ов ▁нуӧд іс ▁000 ▁тыш , ▁вер мис ▁000 ▁тыш ын . ▁сп орт са ▁ма стер . ▁0000 ▁воын ▁вер мис ▁лю б итель яслӧн ▁« e uro c ad et ▁j un i or ▁ch amp ion s h ip » ▁тур н ▁# ▁'' c yr t op od ium ▁d us en ii '' ▁schltr . ▁# ▁'' c yr t op od ium ▁e ug en ii '' ▁rchb . f . ▁& ▁w ar m . ▁in ▁h . g . re ich en ba ch ▁# ▁'' c yr t op od ium ▁f la v um '' ▁( ne es ) ▁l in k ▁& ▁o t t o ▁ex ▁rchb . ▁# |
| 5000 | ▁а . а . ▁че ус ов ӧс ▁кыкысь ▁а ре сту йт лісны ▁да ▁пуксь ӧд лісны . ▁0000 ▁воын ▁сійӧс ▁мы жд існы ▁кыдзи ▁« бур ж у а з нӧй ▁национа лист ӧс », ▁пука ліс ▁каза х станын . ▁0000 ▁воӧ ▁че ус ов ӧс ▁лю б итель яслӧн ▁р инг ын ▁пров од ников ▁нуӧд іс ▁000 ▁тыш , ▁вер мис ▁000 ▁тышын . ▁спорт са ▁мастер . ▁0000 ▁воын ▁вер мис ▁лю б итель яслӧн ▁« e uro c ad et ▁j un i or ▁ch amp ion sh ip » ▁тур н ▁# ▁'' cyrt op odium ▁d us enii '' ▁schltr . ▁# ▁'' cyrt op odium ▁e ug enii '' ▁rchb . f . ▁& ▁war m . ▁in ▁h . g . re ich en ba ch ▁# ▁'' cyrt op odium ▁fla v um '' ▁( ne es ) ▁l ink ▁& ▁o t to ▁ex ▁rchb . ▁# |
| 10000 | ▁а . а . ▁чеусов ӧс ▁кыкысь ▁арестуйт лісны ▁да ▁пуксь ӧд лісны . ▁0000 ▁воын ▁сійӧс ▁мыжд існы ▁кыдзи ▁« бур ж уа з нӧй ▁национа лист ӧс », ▁пука ліс ▁казах станын . ▁0000 ▁воӧ ▁чеусов ӧс ▁люб итель яслӧн ▁р инг ын ▁пров од ников ▁нуӧдіс ▁000 ▁тыш , ▁вермис ▁000 ▁тышын . ▁спорт са ▁мастер . ▁0000 ▁воын ▁вермис ▁люб итель яслӧн ▁« e uro c ad et ▁j uni or ▁ch amp ion sh ip » ▁тур н ▁# ▁'' cyrtopodium ▁d us enii '' ▁schltr . ▁# ▁'' cyrtopodium ▁e ug enii '' ▁rchb . f . ▁& ▁warm . ▁in ▁h . g . reich en bach ▁# ▁'' cyrtopodium ▁flav um '' ▁( ne es ) ▁l ink ▁& ▁ot to ▁ex ▁rchb . ▁# |
| 25000 | ▁а . а . ▁чеусов ӧс ▁кыкысь ▁арестуйт лісны ▁да ▁пуксь ӧдлісны . ▁0000 ▁воын ▁сійӧс ▁мыждісны ▁кыдзи ▁« буржуазнӧй ▁националист ӧс », ▁пукаліс ▁казахстанын . ▁0000 ▁воӧ ▁чеусов ӧс ▁люб ительяслӧн ▁р инг ын ▁проводников ▁нуӧдіс ▁000 ▁тыш , ▁вермис ▁000 ▁тышын . ▁спортса ▁мастер . ▁0000 ▁воын ▁вермис ▁люб ительяслӧн ▁« euro c ad et ▁j uni or ▁champ ion ship » ▁тур н ▁# ▁'' cyrtopodium ▁dus enii '' ▁schltr . ▁# ▁'' cyrtopodium ▁e ug enii '' ▁rchb . f . ▁& ▁warm . ▁in ▁h . g . reichenbach ▁# ▁'' cyrtopodium ▁flav um '' ▁( nees ) ▁link ▁& ▁ot to ▁ex ▁rchb . ▁# |