Luxembourgish (lb) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
10000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
25000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
50000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
100000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
200000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizelbwiki sample
original op der ëstlecher säit vu süden no norde gekuckt fanne mer hei de perchesbierg, den hesselsbierg, den hérenterbierg, d'haard, den duelebierg, de kalebi
éischt spuren déi an der géigend déifferdeng fonnt goufe weisen drophin, datt schonn an der alsteenzäit mënschen an där géigend gelieft hunn. et goufe
en elektrokardiogramm, kuerz ekg (electro, cardio -> häerz), ass en apparat, mat deem een d'häerzaktivitéit a kurven ëmwandele ka fir eng einfach ausw
1000 ▁op ▁der ▁ ë st lech er ▁s äit ▁vu ▁sü den ▁no ▁n or de ▁ge k u ckt ▁f ann e ▁m er ▁h ei ▁de ▁per ch es b ier g , ▁den ▁h ess el s b ier g , ▁den ▁h ér ent er b ier g , ▁d ' ha ard , ▁den ▁du el eb ier g , ▁de ▁k al eb i
▁éischt ▁sp ur en ▁déi ▁an ▁der ▁géi gen d ▁déi ff er d eng ▁f onnt ▁gouf e ▁we is en ▁d ro ph in , ▁datt ▁sch onn ▁an ▁der ▁al ste enz äit ▁m ën sch en ▁an ▁där ▁géi gen d ▁gel ie ft ▁hunn . ▁et ▁gouf e
▁en ▁ ele kt ro k ard io gr amm , ▁k uerz ▁e k g ▁( ele ct ro , ▁c ard io ▁- > ▁h äerz ), ▁ass ▁en ▁a pp ar at , ▁mat ▁deem ▁een ▁d ' h äerz a ktiv itéit ▁a ▁k ur v en ▁ëm w and ele ▁ka ▁fir ▁eng ▁e in f ach ▁aus w
3000 ▁op ▁der ▁ë st lecher ▁säit ▁vu ▁sü den ▁no ▁nor de ▁ge ku ckt ▁f anne ▁mer ▁hei ▁de ▁per ch es bierg , ▁den ▁h ess el sb ierg , ▁den ▁h ér ent er bierg , ▁d ' ha ard , ▁den ▁du el eb ierg , ▁de ▁k al eb i
▁éischt ▁sp uren ▁déi ▁an ▁der ▁géi gend ▁déi ffer d eng ▁fonnt ▁goufe ▁we isen ▁dro ph in , ▁datt ▁schonn ▁an ▁der ▁al ste enz äit ▁mën schen ▁an ▁där ▁géi gend ▁gel ieft ▁hunn . ▁et ▁goufe
▁en ▁ele kt ro k ard io gramm , ▁kuerz ▁e k g ▁( ele ct ro , ▁c ard io ▁- > ▁h äerz ), ▁ass ▁en ▁app ar at , ▁mat ▁deem ▁een ▁d ' h äerz a ktiv itéit ▁a ▁k ur ven ▁ëm w and ele ▁ka ▁fir ▁eng ▁einfach ▁aus w
5000 ▁op ▁der ▁ë st lecher ▁säit ▁vu ▁süden ▁no ▁norde ▁ge kuckt ▁f anne ▁mer ▁hei ▁de ▁per ches bierg , ▁den ▁h ess el sb ierg , ▁den ▁h ér ent er bierg , ▁d ' ha ard , ▁den ▁du el eb ierg , ▁de ▁kal eb i
▁éischt ▁sp uren ▁déi ▁an ▁der ▁géigend ▁déifferdeng ▁fonnt ▁goufe ▁weisen ▁dro ph in , ▁datt ▁schonn ▁an ▁der ▁al ste enzäit ▁mënschen ▁an ▁där ▁géigend ▁gelieft ▁hunn . ▁et ▁goufe
▁en ▁elekt ro k ard io gramm , ▁kuerz ▁e k g ▁( ele ct ro , ▁c ard io ▁- > ▁h äerz ), ▁ass ▁en ▁app ar at , ▁mat ▁deem ▁een ▁d ' h äerz a ktiv itéit ▁a ▁kur ven ▁ëm wand ele ▁ka ▁fir ▁eng ▁einfach ▁aus w
10000 ▁op ▁der ▁ëst lecher ▁säit ▁vu ▁süden ▁no ▁norde ▁gekuckt ▁fanne ▁mer ▁hei ▁de ▁per ches bierg , ▁den ▁h essel sbierg , ▁den ▁h ér enter bierg , ▁d ' ha ard , ▁den ▁duel ebierg , ▁de ▁kal eb i
▁éischt ▁sp uren ▁déi ▁an ▁der ▁géigend ▁déifferdeng ▁fonnt ▁goufe ▁weisen ▁dro phin , ▁datt ▁schonn ▁an ▁der ▁al ste enzäit ▁mënschen ▁an ▁där ▁géigend ▁gelieft ▁hunn . ▁et ▁goufe
▁en ▁elekt ro k ard io gramm , ▁kuerz ▁ek g ▁( ele ct ro , ▁c ard io ▁- > ▁häerz ), ▁ass ▁en ▁app arat , ▁mat ▁deem ▁een ▁d ' h äerz aktiv itéit ▁a ▁kur ven ▁ëm wand ele ▁ka ▁fir ▁eng ▁einfach ▁ausw
25000 ▁op ▁der ▁ëstlecher ▁säit ▁vu ▁süden ▁no ▁norde ▁gekuckt ▁fanne ▁mer ▁hei ▁de ▁per ches bierg , ▁den ▁h essel sbierg , ▁den ▁hér enter bierg , ▁d ' ha ard , ▁den ▁duel ebierg , ▁de ▁kal eb i
▁éischt ▁spuren ▁déi ▁an ▁der ▁géigend ▁déifferdeng ▁fonnt ▁goufe ▁weisen ▁dro phin , ▁datt ▁schonn ▁an ▁der ▁al ste enzäit ▁mënschen ▁an ▁där ▁géigend ▁gelieft ▁hunn . ▁et ▁goufe
▁en ▁elektro k ard io gramm , ▁kuerz ▁ek g ▁( elect ro , ▁card io ▁- > ▁häerz ), ▁ass ▁en ▁apparat , ▁mat ▁deem ▁een ▁d ' häerz aktivitéit ▁a ▁kur ven ▁ëm wand ele ▁ka ▁fir ▁eng ▁einfach ▁ausw
50000 ▁op ▁der ▁ëstlecher ▁säit ▁vu ▁süden ▁no ▁norde ▁gekuckt ▁fanne ▁mer ▁hei ▁de ▁per ches bierg , ▁den ▁h essel sbierg , ▁den ▁hér enter bierg , ▁d ' ha ard , ▁den ▁duel ebierg , ▁de ▁kal eb i
▁éischt ▁spuren ▁déi ▁an ▁der ▁géigend ▁déifferdeng ▁fonnt ▁goufe ▁weisen ▁drophin , ▁datt ▁schonn ▁an ▁der ▁al steenzäit ▁mënschen ▁an ▁där ▁géigend ▁gelieft ▁hunn . ▁et ▁goufe
▁en ▁elektro kard io gramm , ▁kuerz ▁ek g ▁( elect ro , ▁card io ▁- > ▁häerz ), ▁ass ▁en ▁apparat , ▁mat ▁deem ▁een ▁d ' häerz aktivitéit ▁a ▁kur ven ▁ëmwand ele ▁ka ▁fir ▁eng ▁einfach ▁ausw
100000 ▁op ▁der ▁ëstlecher ▁säit ▁vu ▁süden ▁no ▁norde ▁gekuckt ▁fanne ▁mer ▁hei ▁de ▁per ches bierg , ▁den ▁hesselsbierg , ▁den ▁hér enterbierg , ▁d ' haard , ▁den ▁duel ebierg , ▁de ▁kal ebi
▁éischt ▁spuren ▁déi ▁an ▁der ▁géigend ▁déifferdeng ▁fonnt ▁goufe ▁weisen ▁drophin , ▁datt ▁schonn ▁an ▁der ▁alsteenzäit ▁mënschen ▁an ▁där ▁géigend ▁gelieft ▁hunn . ▁et ▁goufe
▁en ▁elektro kardio gramm , ▁kuerz ▁ekg ▁( electro , ▁card io ▁- > ▁häerz ), ▁ass ▁en ▁apparat , ▁mat ▁deem ▁een ▁d ' häerz aktivitéit ▁a ▁kur ven ▁ëmwandele ▁ka ▁fir ▁eng ▁einfach ▁ausw