Slovenian (sl) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
10000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
25000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
50000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
100000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
200000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizeslwiki sample
original * 00. december - na orkneyu huje zboli in umre norveški kralj hakon iv.. nasledi ga sin in sokralj magnus vi. 0000 ↔
* 00. november - bajbars angažira vse razpoložljive sile za spopad z mongoli, vendar se ti umaknejo nazaj čez evfrat. ** nubijski krščanski kralj iz k
obosni žarek - obrat časa - obratni kvadratni zakon - obsevan - obsevanje - obstreljevati - obzornik - obzornik za matematiko in fiziko - ochsenfeld,
1000 ▁* ▁00. ▁de ce mber ▁- ▁na ▁or k ne y u ▁hu je ▁z bo li ▁in ▁u m re ▁no r ve ški ▁kra lj ▁ha kon ▁i v . . ▁nas ledi ▁ga ▁si n ▁in ▁so kra lj ▁ma g nu s ▁vi . ▁0000 ▁ ↔
▁* ▁00. ▁nove mber ▁- ▁ba j b ar s ▁an ga ži ra ▁vse ▁raz po lo ž lji ve ▁si le ▁za ▁spo pad ▁z ▁mo n go li , ▁vendar ▁se ▁ti ▁u ma k ne jo ▁na za j ▁če z ▁ev f ra t . ▁** ▁n u bi jski ▁kr šč an ski ▁kra lj ▁iz ▁k
▁ob o sni ▁ ža re k ▁- ▁ob ra t ▁ča sa ▁- ▁ob ra tni ▁k va d ra tni ▁za kon ▁- ▁obse van ▁- ▁obse vanje ▁- ▁ob stre lje va ti ▁- ▁ob z or nik ▁- ▁ob z or nik ▁za ▁ma te mati ko ▁in ▁fi zi ko ▁- ▁o ch s en fe l d ,
3000 ▁* ▁00. ▁december ▁- ▁na ▁or k ne y u ▁hu je ▁z bo li ▁in ▁u mre ▁nor ve ški ▁kralj ▁ha kon ▁iv .. ▁nas ledi ▁ga ▁sin ▁in ▁so kra lj ▁mag nu s ▁vi . ▁0000 ▁ ↔
▁* ▁00. ▁november ▁- ▁ba j bar s ▁an ga ži ra ▁vse ▁razpo lož lji ve ▁si le ▁za ▁spo pad ▁z ▁mon go li , ▁vendar ▁se ▁ti ▁u mak ne jo ▁naza j ▁čez ▁ev f ra t . ▁** ▁nu bi jski ▁krščan ski ▁kralj ▁iz ▁k
▁obo sni ▁ža rek ▁- ▁obra t ▁časa ▁- ▁obra tni ▁kva dra tni ▁za kon ▁- ▁obse van ▁- ▁obse vanje ▁- ▁ob stre lje vati ▁- ▁ob zor nik ▁- ▁ob zor nik ▁za ▁matemati ko ▁in ▁fizi ko ▁- ▁o ch sen fe ld ,
5000 ▁* ▁00. ▁december ▁- ▁na ▁or k ne y u ▁hu je ▁zbo li ▁in ▁u mre ▁norve ški ▁kralj ▁ha kon ▁iv .. ▁nas ledi ▁ga ▁sin ▁in ▁so kra lj ▁mag nus ▁vi . ▁0000 ▁ ↔
▁* ▁00. ▁november ▁- ▁ba j bar s ▁an ga ži ra ▁vse ▁razpo lož ljive ▁sile ▁za ▁spo pad ▁z ▁mongo li , ▁vendar ▁se ▁ti ▁umak nejo ▁nazaj ▁čez ▁ev f rat . ▁** ▁nu bi jski ▁krščan ski ▁kralj ▁iz ▁k
▁obo sni ▁ža rek ▁- ▁obra t ▁časa ▁- ▁obra tni ▁kvadra tni ▁zakon ▁- ▁obse van ▁- ▁obse vanje ▁- ▁ob stre lje vati ▁- ▁ob zor nik ▁- ▁ob zor nik ▁za ▁matemati ko ▁in ▁fizi ko ▁- ▁o ch sen fe ld ,
10000 ▁* ▁00. ▁december ▁- ▁na ▁or k ney u ▁hu je ▁zbo li ▁in ▁umre ▁norve ški ▁kralj ▁ha kon ▁iv .. ▁nasledi ▁ga ▁sin ▁in ▁so kra lj ▁mag nus ▁vi . ▁0000 ▁ ↔
▁* ▁00. ▁november ▁- ▁baj bar s ▁an ga ži ra ▁vse ▁razpo lož ljive ▁sile ▁za ▁spo pad ▁z ▁mongo li , ▁vendar ▁se ▁ti ▁umak nejo ▁nazaj ▁čez ▁ev f rat . ▁** ▁nu bi jski ▁krščan ski ▁kralj ▁iz ▁k
▁obo sni ▁ža rek ▁- ▁obra t ▁časa ▁- ▁obra tni ▁kvadra tni ▁zakon ▁- ▁obse van ▁- ▁obse vanje ▁- ▁ob stre lje vati ▁- ▁obzor nik ▁- ▁obzor nik ▁za ▁matemati ko ▁in ▁fiziko ▁- ▁o ch sen feld ,
25000 ▁* ▁00. ▁december ▁- ▁na ▁or k ney u ▁hu je ▁zbo li ▁in ▁umre ▁norveški ▁kralj ▁ha kon ▁iv .. ▁nasledi ▁ga ▁sin ▁in ▁so kralj ▁magnus ▁vi . ▁0000 ▁ ↔
▁* ▁00. ▁november ▁- ▁baj bar s ▁angaži ra ▁vse ▁razpolož ljive ▁sile ▁za ▁spopad ▁z ▁mongoli , ▁vendar ▁se ▁ti ▁umak nejo ▁nazaj ▁čez ▁ev f rat . ▁** ▁nu bi jski ▁krščanski ▁kralj ▁iz ▁k
▁obo sni ▁žarek ▁- ▁obrat ▁časa ▁- ▁obra tni ▁kvadratni ▁zakon ▁- ▁obse van ▁- ▁obse vanje ▁- ▁obstre ljevati ▁- ▁obzor nik ▁- ▁obzor nik ▁za ▁matematiko ▁in ▁fiziko ▁- ▁o ch sen feld ,
50000 ▁* ▁00. ▁december ▁- ▁na ▁or k ney u ▁huje ▁zboli ▁in ▁umre ▁norveški ▁kralj ▁ha kon ▁iv .. ▁nasledi ▁ga ▁sin ▁in ▁so kralj ▁magnus ▁vi . ▁0000 ▁ ↔
▁* ▁00. ▁november ▁- ▁baj bars ▁angaži ra ▁vse ▁razpolož ljive ▁sile ▁za ▁spopad ▁z ▁mongoli , ▁vendar ▁se ▁ti ▁umaknejo ▁nazaj ▁čez ▁ev f rat . ▁** ▁nubi jski ▁krščanski ▁kralj ▁iz ▁k
▁obo sni ▁žarek ▁- ▁obrat ▁časa ▁- ▁obratni ▁kvadratni ▁zakon ▁- ▁obse van ▁- ▁obse vanje ▁- ▁obstre ljevati ▁- ▁obzor nik ▁- ▁obzor nik ▁za ▁matematiko ▁in ▁fiziko ▁- ▁o chsen feld ,
100000 ▁* ▁00. ▁december ▁- ▁na ▁orkney u ▁huje ▁zboli ▁in ▁umre ▁norveški ▁kralj ▁ha kon ▁iv .. ▁nasledi ▁ga ▁sin ▁in ▁sokralj ▁magnus ▁vi . ▁0000 ▁ ↔
▁* ▁00. ▁november ▁- ▁bajbars ▁angaži ra ▁vse ▁razpoložljive ▁sile ▁za ▁spopad ▁z ▁mongoli , ▁vendar ▁se ▁ti ▁umaknejo ▁nazaj ▁čez ▁evfrat . ▁** ▁nubi jski ▁krščanski ▁kralj ▁iz ▁k
▁obo sni ▁žarek ▁- ▁obrat ▁časa ▁- ▁obratni ▁kvadratni ▁zakon ▁- ▁obse van ▁- ▁obsevanje ▁- ▁obstreljevati ▁- ▁obzornik ▁- ▁obzornik ▁za ▁matematiko ▁in ▁fiziko ▁- ▁o chsen feld ,