Dimli (individual language) (diq) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
10000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
25000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
50000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizediqwiki sample
original ;albumi * 0000: ''psy from the psycho world!'' * 0000: ''sa 0/adult only'' * 0000: ''0 psy'' * 0000: ''ssa jib (cheap house)'' * 0000: ''psy five'' *
evolusyonê merduman heta 00 milyon serran ra ver şıno u vaciyeno ki merdum prosimiyenan ra ameo. 000 milyon serran ra ver çıçıkinê ke şena tut kena, 0
kategoriye:tewrate kategoriye:qurane kategoriye:ehdo kıhan kategoriye:cıhudiye de peyğamberi kategoriye:xıristiyaniye de peyğamberi kategoriye:islam d
1000 ▁ ; al b um i ▁* ▁0000: ▁'' p s y ▁f ro m ▁the ▁p s y ch o ▁w or l d ! '' ▁* ▁0000: ▁'' sa ▁0 / ad ult ▁on l y '' ▁* ▁0000: ▁'' 0 ▁p s y '' ▁* ▁0000: ▁'' s sa ▁j ib ▁( ch e ap ▁ho us e ) '' ▁* ▁0000: ▁'' p s y ▁f i ve '' ▁*
▁e v ol us yon ê ▁merdum an ▁heta ▁00 ▁mil yon ▁ser ran ▁ra ▁ver ▁şın o ▁u ▁vaciyeno ▁ki ▁merdum ▁pro s im iy en an ▁ra ▁am e o . ▁000 ▁mil yon ▁ser ran ▁ra ▁ver ▁ç ı ç ık in ê ▁ke ▁ş ena ▁t ut ▁k ena , ▁0
▁kategoriye : t ew ra te ▁kategoriye : q ur ane ▁kategoriye : eh do ▁kı han ▁kategoriye : c ı h ud iye ▁de ▁pey ğ am ber i ▁kategoriye : x ır ist iyan iye ▁de ▁pey ğ am ber i ▁kategoriye : is lam ▁d
3000 ▁; al b umi ▁* ▁0000: ▁'' p sy ▁from ▁the ▁ps y ch o ▁wor ld ! '' ▁* ▁0000: ▁'' sa ▁0 / ad ult ▁on ly '' ▁* ▁0000: ▁'' 0 ▁ps y '' ▁* ▁0000: ▁'' s sa ▁j ib ▁( ch e ap ▁ho use )'' ▁* ▁0000: ▁'' p sy ▁f i ve '' ▁*
▁evolusyon ê ▁merduman ▁heta ▁00 ▁milyon ▁serran ▁ra ▁ver ▁şıno ▁u ▁vaciyeno ▁ki ▁merdum ▁pro sim iy en an ▁ra ▁ame o . ▁000 ▁milyon ▁serran ▁ra ▁ver ▁çı ç ık inê ▁ke ▁ş ena ▁t ut ▁kena , ▁0
▁kategoriye : t ew ra te ▁kategoriye : q ur ane ▁kategoriye : eh do ▁kıhan ▁kategoriye : cı h ud iye ▁de ▁peyğamber i ▁kategoriye : x ır ist iyan iye ▁de ▁peyğamber i ▁kategoriye : is lam ▁d
5000 ▁; al b umi ▁* ▁0000: ▁'' p sy ▁from ▁the ▁ps y ch o ▁world ! '' ▁* ▁0000: ▁'' sa ▁0 / ad ult ▁only '' ▁* ▁0000: ▁'' 0 ▁ps y '' ▁* ▁0000: ▁'' s sa ▁j ib ▁( che ap ▁ho use )'' ▁* ▁0000: ▁'' p sy ▁fi ve '' ▁*
▁evolusyon ê ▁merduman ▁heta ▁00 ▁milyon ▁serran ▁ra ▁ver ▁şıno ▁u ▁vaciyeno ▁ki ▁merdum ▁pro sim iy enan ▁ra ▁ameo . ▁000 ▁milyon ▁serran ▁ra ▁ver ▁çı çık inê ▁ke ▁ş ena ▁tut ▁kena , ▁0
▁kategoriye : t ew rate ▁kategoriye : q ur ane ▁kategoriye : eh do ▁kıhan ▁kategoriye : cı h ud iye ▁de ▁peyğamber i ▁kategoriye : x ır ist iyan iye ▁de ▁peyğamber i ▁kategoriye : is lam ▁d
10000 ▁; alb umi ▁* ▁0000: ▁'' p sy ▁from ▁the ▁psy ch o ▁world !'' ▁* ▁0000: ▁'' sa ▁0 / ad ult ▁only '' ▁* ▁0000: ▁'' 0 ▁psy '' ▁* ▁0000: ▁'' s sa ▁j ib ▁( che ap ▁house )'' ▁* ▁0000: ▁'' p sy ▁fi ve '' ▁*
▁evolusyon ê ▁merduman ▁heta ▁00 ▁milyon ▁serran ▁ra ▁ver ▁şıno ▁u ▁vaciyeno ▁ki ▁merdum ▁pro sim iy enan ▁ra ▁ameo . ▁000 ▁milyon ▁serran ▁ra ▁ver ▁çıçık inê ▁ke ▁şena ▁tut ▁kena , ▁0
▁kategoriye : t ew rate ▁kategoriye : q ur ane ▁kategoriye : eh do ▁kıhan ▁kategoriye : cıh ud iye ▁de ▁peyğamberi ▁kategoriye : xır ist iyan iye ▁de ▁peyğamberi ▁kategoriye : islam ▁d
25000 ▁; alb umi ▁* ▁0000: ▁'' psy ▁from ▁the ▁psych o ▁world !'' ▁* ▁0000: ▁'' sa ▁0/ ad ult ▁only '' ▁* ▁0000: ▁''0 ▁psy '' ▁* ▁0000: ▁'' s sa ▁j ib ▁( che ap ▁house )'' ▁* ▁0000: ▁'' psy ▁five '' ▁*
▁evolusyonê ▁merduman ▁heta ▁00 ▁milyon ▁serran ▁ra ▁ver ▁şıno ▁u ▁vaciyeno ▁ki ▁merdum ▁pro sim iy enan ▁ra ▁ameo . ▁000 ▁milyon ▁serran ▁ra ▁ver ▁çıçık inê ▁ke ▁şena ▁tut ▁kena , ▁0
▁kategoriye : tewrate ▁kategoriye : qur ane ▁kategoriye : eh do ▁kıhan ▁kategoriye : cıhud iye ▁de ▁peyğamberi ▁kategoriye : xıristiyaniye ▁de ▁peyğamberi ▁kategoriye : islam ▁d
50000 ▁; albumi ▁* ▁0000: ▁'' psy ▁from ▁the ▁psycho ▁world !'' ▁* ▁0000: ▁'' sa ▁0/ ad ult ▁only '' ▁* ▁0000: ▁''0 ▁psy '' ▁* ▁0000: ▁'' s sa ▁j ib ▁( che ap ▁house )'' ▁* ▁0000: ▁'' psy ▁five '' ▁*
▁evolusyonê ▁merduman ▁heta ▁00 ▁milyon ▁serran ▁ra ▁ver ▁şıno ▁u ▁vaciyeno ▁ki ▁merdum ▁prosim iy enan ▁ra ▁ameo . ▁000 ▁milyon ▁serran ▁ra ▁ver ▁çıçık inê ▁ke ▁şena ▁tut ▁kena , ▁0
▁kategoriye : tewrate ▁kategoriye : qurane ▁kategoriye : ehdo ▁kıhan ▁kategoriye : cıhudiye ▁de ▁peyğamberi ▁kategoriye : xıristiyaniye ▁de ▁peyğamberi ▁kategoriye : islam ▁d