Volapük (vo) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
10000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
25000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizevowiki sample
original ma el ''u.s. census bureau'' (pöpinumamabür lamerikänik), connellsville labon sürfati valodik mö 0,0 km², kela 0,0 km² binon län e kela 0,0 km² (0,00%
ma el ''u.s. census bureau'' (pöpinumamabür lamerikänik), whittier labon sürfati valodik mö 00,0 km² (vat: 0%).
bid patedik: ''altispinax dunkeri'' (dames 0000 e von huene 0000) pasevon te medü tuts. bids pebepenöl votik siso petopätükons ini els ''genera'' voti
1000 ▁ma ▁el ▁'' u . s . ▁census ▁bureau '' ▁( pöpinumamabür ▁lamerikänik ), ▁c on n ell s ville ▁labon ▁sürfati ▁valodik ▁mö ▁0,0 ▁km 2, ▁kela ▁0,0 ▁km 2 ▁binon ▁län ▁e ▁kela ▁0,0 ▁km 2 ▁(0 ,00%
▁ma ▁el ▁'' u . s . ▁census ▁bureau '' ▁( pöpinumamabür ▁lamerikänik ), ▁w h it t ier ▁labon ▁sürfati ▁valodik ▁mö ▁00,0 ▁km 2 ▁( vat : ▁0%).
▁bid ▁patedik : ▁'' alt is p ina x ▁d un k er i '' ▁( d am es ▁0000 ▁e ▁von ▁h u en e ▁0000 ) ▁pas e v on ▁te ▁m ed ü ▁t ut s . ▁bid s ▁p e be pen öl ▁votik ▁s is o ▁p et op ä t ük ons ▁in i ▁el s ▁'' g en er a '' ▁v ot i
3000 ▁ma ▁el ▁'' u . s . ▁census ▁bureau '' ▁( pöpinumamabür ▁lamerikänik ), ▁con nell sville ▁labon ▁sürfati ▁valodik ▁mö ▁0,0 ▁km 2, ▁kela ▁0,0 ▁km 2 ▁binon ▁län ▁e ▁kela ▁0,0 ▁km 2 ▁(0 ,00%
▁ma ▁el ▁'' u . s . ▁census ▁bureau '' ▁( pöpinumamabür ▁lamerikänik ), ▁wh itt ier ▁labon ▁sürfati ▁valodik ▁mö ▁00,0 ▁km 2 ▁( vat : ▁0%).
▁bid ▁patedik : ▁'' alt is p ina x ▁dun ker i '' ▁( dam es ▁0000 ▁e ▁von ▁h u ene ▁0000) ▁pas ev on ▁te ▁med ü ▁tut s . ▁bid s ▁pe bepen öl ▁votik ▁s is o ▁pet op ät ük ons ▁ini ▁els ▁'' gen era '' ▁v oti
5000 ▁ma ▁el ▁'' u . s . ▁census ▁bureau '' ▁( pöpinumamabür ▁lamerikänik ), ▁con nell sville ▁labon ▁sürfati ▁valodik ▁mö ▁0,0 ▁km 2, ▁kela ▁0,0 ▁km 2 ▁binon ▁län ▁e ▁kela ▁0,0 ▁km 2 ▁(0 ,00%
▁ma ▁el ▁'' u . s . ▁census ▁bureau '' ▁( pöpinumamabür ▁lamerikänik ), ▁wh itt ier ▁labon ▁sürfati ▁valodik ▁mö ▁00,0 ▁km 2 ▁( vat : ▁0%).
▁bid ▁patedik : ▁'' alt is p ina x ▁dun ker i '' ▁( dam es ▁0000 ▁e ▁von ▁hu ene ▁0000) ▁pas ev on ▁te ▁medü ▁tuts . ▁bid s ▁pe bepen öl ▁votik ▁sis o ▁pet op ät ükons ▁ini ▁els ▁'' gen era '' ▁v oti
10000 ▁ma ▁el ▁'' u . s . ▁census ▁bureau '' ▁( pöpinumamabür ▁lamerikänik ), ▁con nell sville ▁labon ▁sürfati ▁valodik ▁mö ▁0,0 ▁km 2, ▁kela ▁0,0 ▁km 2 ▁binon ▁län ▁e ▁kela ▁0,0 ▁km 2 ▁(0 ,00%
▁ma ▁el ▁'' u . s . ▁census ▁bureau '' ▁( pöpinumamabür ▁lamerikänik ), ▁whitt ier ▁labon ▁sürfati ▁valodik ▁mö ▁00,0 ▁km 2 ▁( vat : ▁0%).
▁bid ▁patedik : ▁'' alt is pina x ▁dun ker i '' ▁( dam es ▁0000 ▁e ▁von ▁hu ene ▁0000) ▁pas ev on ▁te ▁medü ▁tuts . ▁bids ▁pebepen öl ▁votik ▁sis o ▁pet op ät ükons ▁ini ▁els ▁'' gen era '' ▁v oti
25000 ▁ma ▁el ▁'' u . s . ▁census ▁bureau '' ▁( pöpinumamabür ▁lamerikänik ), ▁connellsville ▁labon ▁sürfati ▁valodik ▁mö ▁0,0 ▁km 2, ▁kela ▁0,0 ▁km 2 ▁binon ▁län ▁e ▁kela ▁0,0 ▁km 2 ▁(0,00%
▁ma ▁el ▁'' u . s . ▁census ▁bureau '' ▁( pöpinumamabür ▁lamerikänik ), ▁whittier ▁labon ▁sürfati ▁valodik ▁mö ▁00,0 ▁km 2 ▁( vat : ▁0%).
▁bid ▁patedik : ▁'' alt is pinax ▁dunker i '' ▁( dames ▁0000 ▁e ▁von ▁huene ▁0000) ▁pasevon ▁te ▁medü ▁tuts . ▁bids ▁pebepenöl ▁votik ▁siso ▁pet op ät ükons ▁ini ▁els ▁'' genera '' ▁v oti