Komi-Permyak (koi) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 10000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | koiwiki sample |
|---|---|
| original | браунлея ( ) — орхидея котырись быдмас увтыр. браунлея увтырӧ пырӧны 0 вид. браунлея пантасьӧ африкаын да мадагаскарын. кӧсладор район аркмикӧ 0000' годӧ февраль 00' лунӧ сы пытшкӧ пырӧмась чердын уездісь чурак (00 олан ин, 0000 морт), кӧс (00 олан ин, 0000 морт), юксьӧ *афанасьев а. п. топонимия республики коми. сыктывкар: коми кн. изд-во, 0000 isbn 0-0000-0000-0 *жеребцов и. л. где ты живёшь: населённые пункты респу |
| 1000 | ▁б ра ун л е я ▁( ▁ ) ▁— ▁ор х и де я ▁котырись ▁быдмас ▁увтыр . ▁б ра ун л е я ▁увтырӧ ▁пырӧны ▁0 ▁вид . ▁б ра ун л е я ▁пантасьӧ ▁африка ын ▁да ▁м ад а г ас кар ын . ▁кӧ с л адор ▁район ▁ар к ми кӧ ▁0000' ▁годӧ ▁ф ев ра ль ▁00 ' ▁лун ӧ ▁сы ▁п ыт ш кӧ ▁пыр ӧмась ▁ч ер д ын ▁у ез д ісь ▁чу ра к ▁( 00 ▁олан ▁ин , ▁0000 ▁морт ), ▁кӧ с ▁( 00 ▁олан ▁ин , ▁0000 ▁морт ), ▁ю к сьӧ ▁* афанасьев ▁а . ▁п . ▁топонимия ▁республики ▁коми . ▁сыктывкар : ▁коми ▁кн . ▁изд - во , ▁0000 ▁isbn ▁0-0000-0000-0 ▁* жеребцов ▁и . ▁л . ▁где ▁ты ▁живёшь : ▁населённые ▁пункты ▁ре сп у |
| 3000 | ▁б ра ун л ея ▁( ▁) ▁— ▁орхидея ▁котырись ▁быдмас ▁увтыр . ▁б ра ун л ея ▁увтырӧ ▁пырӧны ▁0 ▁вид . ▁б ра ун л ея ▁пантасьӧ ▁африкаын ▁да ▁мад аг ас кар ын . ▁кӧсладор ▁район ▁арк ми кӧ ▁0000' ▁годӧ ▁ф ев раль ▁00' ▁лунӧ ▁сы ▁п ыт ш кӧ ▁пыр ӧмась ▁чер дын ▁уез д ісь ▁чу ра к ▁(00 ▁олан ▁ин , ▁0000 ▁морт ), ▁кӧс ▁(00 ▁олан ▁ин , ▁0000 ▁морт ), ▁юк сьӧ ▁* афанасьев ▁а . ▁п . ▁топонимия ▁республики ▁коми . ▁сыктывкар : ▁коми ▁кн . ▁изд - во , ▁0000 ▁isbn ▁0-0000-0000-0 ▁* жеребцов ▁и . ▁л . ▁где ▁ты ▁живёшь : ▁населённые ▁пункты ▁ре сп у |
| 5000 | ▁б ра ун л ея ▁( ▁) ▁— ▁орхидея ▁котырись ▁быдмас ▁увтыр . ▁б ра ун л ея ▁увтырӧ ▁пырӧны ▁0 ▁вид . ▁б ра ун л ея ▁пантасьӧ ▁африкаын ▁да ▁мадагас карын . ▁кӧсладор ▁район ▁арк ми кӧ ▁0000' ▁годӧ ▁февраль ▁00' ▁лунӧ ▁сы ▁п ыт ш кӧ ▁пыр ӧмась ▁чердын ▁уез дісь ▁чу рак ▁(00 ▁олан ▁ин , ▁0000 ▁морт ), ▁кӧс ▁(00 ▁олан ▁ин , ▁0000 ▁морт ), ▁юк сьӧ ▁* афанасьев ▁а . ▁п . ▁топонимия ▁республики ▁коми . ▁сыктывкар : ▁коми ▁кн . ▁изд - во , ▁0000 ▁isbn ▁0-0000-0000-0 ▁* жеребцов ▁и . ▁л . ▁где ▁ты ▁живёшь : ▁населённые ▁пункты ▁ре сп у |
| 10000 | ▁бра ун лея ▁( ▁) ▁— ▁орхидея ▁котырись ▁быдмас ▁увтыр . ▁бра ун лея ▁увтырӧ ▁пырӧны ▁0 ▁вид . ▁бра ун лея ▁пантасьӧ ▁африкаын ▁да ▁мадагаскарын . ▁кӧсладор ▁район ▁арк ми кӧ ▁0000' ▁годӧ ▁февраль ▁00' ▁лунӧ ▁сы ▁пытшкӧ ▁пыр ӧмась ▁чердын ▁уездісь ▁чурак ▁(00 ▁олан ▁ин , ▁0000 ▁морт ), ▁кӧс ▁(00 ▁олан ▁ин , ▁0000 ▁морт ), ▁юк сьӧ ▁* афанасьев ▁а . ▁п . ▁топонимия ▁республики ▁коми . ▁сыктывкар : ▁коми ▁кн . ▁изд - во , ▁0000 ▁isbn ▁0-0000-0000-0 ▁* жеребцов ▁и . ▁л . ▁где ▁ты ▁живёшь : ▁населённые ▁пункты ▁ре сп у |