Kongo (kg) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix

Embedding matrix plots

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizekgwiki sample
original tshela kele mbanza na repubilika ya kongo ya dimokalasi na kizunga kongo ya kati. yau ke vuandaka na mukidi ya nzadi lubuzi. joseph kasa vubu, ntuadis
kixhosa kele ndinga ya nene ya kibantu. yo kele ndinga ya repubilika ya afelika sudi. yo kele na batubi 0 000 000. batubi ya kixhosa ke vuanda na bizu
falanse kele nsi na mputu. luyalumunu ya yau ke lutaka kilometa kare milio dizole, na ntalu ya besi falanse ke lutaka milio 00. falanse kele nsi ya nz
1000 ▁t s he la ▁kele ▁mbanza ▁na ▁repubilika ▁ya ▁kongo ▁ya ▁dimokalasi ▁na ▁kizunga ▁kongo ▁ya ▁kati . ▁yau ▁ke ▁vuandaka ▁na ▁mu ki di ▁ya ▁nzadi ▁lu bu zi . ▁jo se ph ▁ka sa ▁v ubu , ▁ntu a di s
▁ki x ho sa ▁kele ▁ndinga ▁ya ▁nene ▁ya ▁kib antu . ▁yo ▁kele ▁ndinga ▁ya ▁repubilika ▁ya ▁afelika ▁sudi . ▁yo ▁kele ▁na ▁batu bi ▁0 ▁000 ▁000. ▁batu bi ▁ya ▁ki x ho sa ▁ke ▁vu anda ▁na ▁bi zu
▁f alanse ▁kele ▁nsi ▁na ▁mputu . ▁luyalu m unu ▁ya ▁yau ▁ke ▁luta ka ▁ki lo me ta ▁ka re ▁mi li o ▁di z ole , ▁na ▁nta lu ▁ya ▁be si ▁f alanse ▁ke ▁luta ka ▁mi li o ▁00. ▁f alanse ▁kele ▁nsi ▁ya ▁nz
3000 ▁tshela ▁kele ▁mbanza ▁na ▁repubilika ▁ya ▁kongo ▁ya ▁dimokalasi ▁na ▁kizunga ▁kongo ▁ya ▁kati . ▁yau ▁ke ▁vuandaka ▁na ▁mukidi ▁ya ▁nzadi ▁lubu zi . ▁joseph ▁kasa ▁vubu , ▁ntu adi s
▁ki xhosa ▁kele ▁ndinga ▁ya ▁nene ▁ya ▁kibantu . ▁yo ▁kele ▁ndinga ▁ya ▁repubilika ▁ya ▁afelika ▁sudi . ▁yo ▁kele ▁na ▁batubi ▁0 ▁000 ▁000. ▁batubi ▁ya ▁ki xhosa ▁ke ▁vuanda ▁na ▁bi zu
▁falanse ▁kele ▁nsi ▁na ▁mputu . ▁luyalumunu ▁ya ▁yau ▁ke ▁luta ka ▁ki lo me ta ▁ka re ▁milio ▁di zole , ▁na ▁ntalu ▁ya ▁besi ▁falanse ▁ke ▁luta ka ▁milio ▁00. ▁falanse ▁kele ▁nsi ▁ya ▁nz
5000 ▁tshela ▁kele ▁mbanza ▁na ▁repubilika ▁ya ▁kongo ▁ya ▁dimokalasi ▁na ▁kizunga ▁kongo ▁ya ▁kati . ▁yau ▁ke ▁vuandaka ▁na ▁mukidi ▁ya ▁nzadi ▁lubu zi . ▁joseph ▁kasa ▁vubu , ▁ntu adi s
▁kixhosa ▁kele ▁ndinga ▁ya ▁nene ▁ya ▁kibantu . ▁yo ▁kele ▁ndinga ▁ya ▁repubilika ▁ya ▁afelika ▁sudi . ▁yo ▁kele ▁na ▁batubi ▁0 ▁000 ▁000. ▁batubi ▁ya ▁kixhosa ▁ke ▁vuanda ▁na ▁bi zu
▁falanse ▁kele ▁nsi ▁na ▁mputu . ▁luyalumunu ▁ya ▁yau ▁ke ▁lutaka ▁ki lo me ta ▁kare ▁milio ▁di zole , ▁na ▁ntalu ▁ya ▁besi ▁falanse ▁ke ▁lutaka ▁milio ▁00. ▁falanse ▁kele ▁nsi ▁ya ▁nz