Narom (nrm) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
10000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizenrmwiki sample
original douard i d'angliétèrre prînt galles en 0000 et c'menchit la bâtithie d'châtchieaux pouor contrôler l'pays. l'chein d'caernarfon fut c'menchi sus l'bor
cha feut couma cha pouor la normaundie, et byin d's âotes, pa'rai. âo jouo d'anhyi, y a enco des provinches, mais sauns
l's pays bas (hollandais: nederland) sont un pays en ûrope. ch'est iun des membres dé l'unnion ûropéenne.
1000 ▁dou ard ▁i ▁d ' angliétèrre ▁pr înt ▁gal les ▁en ▁0000 ▁et ▁c ' men chit ▁la ▁bât ith ie ▁d ' ch â tch ieaux ▁pouor ▁cont r ô ler ▁l ' pa ys . ▁l ' che in ▁d ' c aer n ar f on ▁fut ▁c ' men chi ▁sus ▁l ' b or
▁cha ▁feut ▁cou ma ▁cha ▁pouor ▁la ▁normaundie , ▁et ▁byin ▁d ' s ▁ âot es , ▁pa ' r ai . ▁ âo ▁j ouo ▁d ' an h yi , ▁y ▁a ▁en co ▁des ▁pro v in ches , ▁mais ▁s auns
▁l ' s ▁pays ▁bas ▁( h ol land ais : ▁ne d er land ) ▁sont ▁un ▁pays ▁en ▁ûrope . ▁ch ' est ▁i un ▁des ▁me mb res ▁dé ▁l ' unnion ▁ ûro pé enne .
3000 ▁douard ▁i ▁d ' angliétèrre ▁prînt ▁galles ▁en ▁0000 ▁et ▁c ' menchit ▁la ▁bâtithie ▁d ' châ tchieaux ▁pouor ▁cont r ô ler ▁l ' pays . ▁l ' chein ▁d ' c aer n ar f on ▁fut ▁c ' menchi ▁sus ▁l ' b or
▁cha ▁feut ▁cou ma ▁cha ▁pouor ▁la ▁normaundie , ▁et ▁byin ▁d ' s ▁âotes , ▁pa ' rai . ▁âo ▁jouo ▁d ' anhyi , ▁y ▁a ▁enco ▁des ▁provin ches , ▁mais ▁sauns
▁l ' s ▁pays ▁bas ▁( h ol landais : ▁ne der land ) ▁sont ▁un ▁pays ▁en ▁ûrope . ▁ch ' est ▁iun ▁des ▁membres ▁dé ▁l ' unnion ▁ûropéenne .
5000 ▁douard ▁i ▁d ' angliétèrre ▁prînt ▁galles ▁en ▁0000 ▁et ▁c ' menchit ▁la ▁bâtithie ▁d ' châ tchieaux ▁pouor ▁contr ô ler ▁l ' pays . ▁l ' chein ▁d ' c aer n ar f on ▁fut ▁c ' menchi ▁sus ▁l ' b or
▁cha ▁feut ▁cou ma ▁cha ▁pouor ▁la ▁normaundie , ▁et ▁byin ▁d ' s ▁âotes , ▁pa ' rai . ▁âo ▁jouo ▁d ' anhyi , ▁y ▁a ▁enco ▁des ▁provinches , ▁mais ▁sauns
▁l ' s ▁pays ▁bas ▁( h ol landais : ▁ne der land ) ▁sont ▁un ▁pays ▁en ▁ûrope . ▁ch ' est ▁iun ▁des ▁membres ▁dé ▁l ' unnion ▁ûropéenne .
10000 ▁douard ▁i ▁d ' angliétèrre ▁prînt ▁galles ▁en ▁0000 ▁et ▁c ' menchit ▁la ▁bâtithie ▁d ' châ tchieaux ▁pouor ▁contrô ler ▁l ' pays . ▁l ' chein ▁d ' caer n arfon ▁fut ▁c ' menchi ▁sus ▁l ' bor
▁cha ▁feut ▁cou ma ▁cha ▁pouor ▁la ▁normaundie , ▁et ▁byin ▁d ' s ▁âotes , ▁pa ' rai . ▁âo ▁jouo ▁d ' anhyi , ▁y ▁a ▁enco ▁des ▁provinches , ▁mais ▁sauns
▁l ' s ▁pays ▁bas ▁( hol landais : ▁ne der land ) ▁sont ▁un ▁pays ▁en ▁ûrope . ▁ch ' est ▁iun ▁des ▁membres ▁dé ▁l ' unnion ▁ûropéenne .