Dinka (din) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix

Embedding matrix plots

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizedinwiki sample
original aköl de krïthmath ayee yanh yee cam në pɛinïn 00 penëthiɛ̈ɛ̈rkurou. yen ayee tök në kɛm ke nïn thiekiic arët tënë kërëthanooi, yen ku aköljönrɔtëbɛ̈ny
manut në runken ke luɔi kayee duthuɛ̈ɛ̈c abɛ̈n, ee yee luui arët në käkke kuɔny në kɔckɔ̈kiic. acë wëu juëc ariɔpde ne nba yic gam bë kɔkɔ̈k kony thud
{| border=0 align=right cellpadding=0 cellspacing=0 width=000 style="margin: 0 0 0em 0em; background: #f0f0f0; border: 0px #aaaaaa solid; border-colla
1000 ▁aköl ▁de ▁kr ïth math ▁ayee ▁yanh ▁yee ▁cam ▁në ▁pɛ in ïn ▁00 ▁pen ëth iɛ ̈ ɛ ̈ r kurou . ▁yen ▁ayee ▁tök ▁në ▁kɛ m ▁ke ▁nïn ▁thi ek iic ▁arët ▁tënë ▁kërëth an ooi , ▁yen ▁ku ▁aköl j ön r ɔt ëbɛ ̈ ny
▁man ut ▁në ▁run ken ▁ke ▁luɔi ▁ka yee ▁du th uɛ ̈ ɛ ̈ c ▁ab ɛ ̈ n , ▁ee ▁yee ▁luui ▁arët ▁në ▁käk ke ▁kuɔ ny ▁në ▁kɔc kɔ ̈ k iic . ▁acë ▁wëu ▁juëc ▁ar iɔp de ▁ne ▁n ba ▁yic ▁gam ▁bë ▁kɔ kɔ ̈ k ▁kony ▁thud
▁ { | ▁border =0 ▁ali g n = ri gh t ▁c el l p ad d ing =0 ▁c el l s p ac ing =0 ▁w id th = 000 ▁st y le = " m ar g in : ▁0 ▁0 ▁0 em ▁0 em ; ▁b ac k g rou n d : ▁# f 0 f 0 f 0 ; ▁border : ▁0 p x ▁# aa aa aa ▁s ol id ; ▁border - c ol la
3000 ▁aköl ▁de ▁krïthmath ▁ayee ▁yanh ▁yee ▁cam ▁në ▁pɛinïn ▁00 ▁penëth iɛ ̈ ɛ ̈ rkurou . ▁yen ▁ayee ▁tök ▁në ▁kɛm ▁ke ▁nïn ▁thiek iic ▁arët ▁tënë ▁kërëthanooi , ▁yen ▁ku ▁aköl j ön rɔt ëbɛ ̈ ny
▁manut ▁në ▁run ken ▁ke ▁luɔi ▁kayee ▁du th uɛ ̈ ɛ ̈ c ▁abɛ ̈ n , ▁ee ▁yee ▁luui ▁arët ▁në ▁käk ke ▁kuɔny ▁në ▁kɔc kɔ ̈ kiic . ▁acë ▁wëu ▁juëc ▁ar iɔp de ▁ne ▁nba ▁yic ▁gam ▁bë ▁kɔ kɔ ̈ k ▁kony ▁thud
▁ { | ▁border =0 ▁align = right ▁cellpadding =0 ▁cellspacing =0 ▁width =000 ▁style =" margin : ▁0 ▁0 ▁0 em ▁0 em ; ▁background : ▁# f 0 f 0 f 0; ▁border : ▁0 px ▁# aaaaaa ▁solid ; ▁border - col la
5000 ▁aköl ▁de ▁krïthmath ▁ayee ▁yanh ▁yee ▁cam ▁në ▁pɛinïn ▁00 ▁penëthiɛ ̈ ɛ ̈ rkurou . ▁yen ▁ayee ▁tök ▁në ▁kɛm ▁ke ▁nïn ▁thiek iic ▁arët ▁tënë ▁kërëthanooi , ▁yen ▁ku ▁aköl j ön rɔt ëbɛ ̈ ny
▁manut ▁në ▁run ken ▁ke ▁luɔi ▁kayee ▁du thuɛ ̈ ɛ ̈ c ▁abɛ ̈ n , ▁ee ▁yee ▁luui ▁arët ▁në ▁käk ke ▁kuɔny ▁në ▁kɔckɔ ̈ kiic . ▁acë ▁wëu ▁juëc ▁ariɔp de ▁ne ▁nba ▁yic ▁gam ▁bë ▁kɔ kɔ ̈ k ▁kony ▁thud
▁ { | ▁border =0 ▁align = right ▁cellpadding =0 ▁cellspacing =0 ▁width =000 ▁style =" margin : ▁0 ▁0 ▁0 em ▁0 em ; ▁background : ▁# f 0 f 0 f 0; ▁border : ▁0 px ▁# aaaaaa ▁solid ; ▁border - col la