Iloko (ilo) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
10000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
25000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizeilowiki sample
original papeles:european central bank 000000.jpg|thumb|ti ecb idiay frankfurt, alemania, ket isu ti mangimaton ti annuroten ti kuarta ti eurosona.
a panagtagikua kadagiti pamuspusan ti panagpataud, nga adda iti estado, nga itigapuna, ket mangitunton a nangirepresenta ti kakaykayatan dagiti agobob
nga adda iti agarup a 0.0 bilion a sumursurot a naisinsina kadagiti tallo a sanga ti katoliko, protestante ken ortodokso, ti kristianidad ket isu ti k
1000 ▁papeles : e ur op e an ▁c en tr al ▁ban k ▁0000 00 . jpg | thumb | ti ▁e c b ▁idiay ▁f ran k f ur t , ▁al eman ia , ▁ket ▁isu ▁ti ▁mang im at on ▁ti ▁an n ur ot en ▁ti ▁k uar ta ▁ti ▁eur os ona .
▁a ▁panag t agi k ua ▁kadagiti ▁pam us p us an ▁ti ▁panagp ata ud , ▁nga ▁adda ▁iti ▁estado , ▁nga ▁iti gap una , ▁ket ▁mang it un ton ▁a ▁nang i rep res en ta ▁ti ▁k ak ay kay atan ▁dagiti ▁ag ob ob
▁nga ▁adda ▁iti ▁agarup ▁a ▁0 . 0 ▁b ili on ▁a ▁sum ur s ur ot ▁a ▁nais ins ina ▁kadagiti ▁tallo ▁a ▁san ga ▁ti ▁kat oli ko , ▁pro t es tan te ▁ken ▁or to d ok so , ▁ti ▁k ris ti an idad ▁ket ▁isu ▁ti ▁k
3000 ▁papeles : e ur op ean ▁cen tral ▁ban k ▁0000 00 . jpg | thumb | ti ▁e c b ▁idiay ▁fran k f ur t , ▁alemania , ▁ket ▁isu ▁ti ▁mang imat on ▁ti ▁ann urot en ▁ti ▁k uar ta ▁ti ▁eur os ona .
▁a ▁panagt agikua ▁kadagiti ▁pam us p usan ▁ti ▁panagp ataud , ▁nga ▁adda ▁iti ▁estado , ▁nga ▁iti gap una , ▁ket ▁mang it unton ▁a ▁nang i representa ▁ti ▁kak ay kay atan ▁dagiti ▁ag ob ob
▁nga ▁adda ▁iti ▁agarup ▁a ▁0.0 ▁b ili on ▁a ▁sum urs urot ▁a ▁nais ins ina ▁kadagiti ▁tallo ▁a ▁sanga ▁ti ▁katoliko , ▁pro tes tan te ▁ken ▁or to d ok so , ▁ti ▁kristi an idad ▁ket ▁isu ▁ti ▁k
5000 ▁papeles : europ ean ▁central ▁ban k ▁0000 00. jpg | thumb | ti ▁ec b ▁idiay ▁frank f ur t , ▁alemania , ▁ket ▁isu ▁ti ▁mang imaton ▁ti ▁annuroten ▁ti ▁kuarta ▁ti ▁eur os ona .
▁a ▁panagt agikua ▁kadagiti ▁pam us p usan ▁ti ▁panagpataud , ▁nga ▁adda ▁iti ▁estado , ▁nga ▁iti gap una , ▁ket ▁mang it unton ▁a ▁nang irepresenta ▁ti ▁kak ay kay atan ▁dagiti ▁ag ob ob
▁nga ▁adda ▁iti ▁agarup ▁a ▁0.0 ▁bilion ▁a ▁sum urs urot ▁a ▁nais ins ina ▁kadagiti ▁tallo ▁a ▁sanga ▁ti ▁katoliko , ▁pro tes tante ▁ken ▁orto d ok so , ▁ti ▁kristianidad ▁ket ▁isu ▁ti ▁k
10000 ▁papeles : europ ean ▁central ▁bank ▁0000 00. jpg | thumb | ti ▁ec b ▁idiay ▁frank f urt , ▁alemania , ▁ket ▁isu ▁ti ▁mangimaton ▁ti ▁annuroten ▁ti ▁kuarta ▁ti ▁euros ona .
▁a ▁panagt agikua ▁kadagiti ▁pam usp usan ▁ti ▁panagpataud , ▁nga ▁adda ▁iti ▁estado , ▁nga ▁iti gap una , ▁ket ▁mangit unton ▁a ▁nang irepresenta ▁ti ▁kak ay kay atan ▁dagiti ▁agob ob
▁nga ▁adda ▁iti ▁agarup ▁a ▁0.0 ▁bilion ▁a ▁sum ursurot ▁a ▁naisinsina ▁kadagiti ▁tallo ▁a ▁sanga ▁ti ▁katoliko , ▁protestante ▁ken ▁ortodokso , ▁ti ▁kristianidad ▁ket ▁isu ▁ti ▁k
25000 ▁papeles : europ ean ▁central ▁bank ▁000000. jpg | thumb | ti ▁ecb ▁idiay ▁frankfurt , ▁alemania , ▁ket ▁isu ▁ti ▁mangimaton ▁ti ▁annuroten ▁ti ▁kuarta ▁ti ▁eurosona .
▁a ▁panagtagikua ▁kadagiti ▁pamuspusan ▁ti ▁panagpataud , ▁nga ▁adda ▁iti ▁estado , ▁nga ▁iti gap una , ▁ket ▁mangitunton ▁a ▁nangirepresenta ▁ti ▁kakaykay atan ▁dagiti ▁agob ob
▁nga ▁adda ▁iti ▁agarup ▁a ▁0.0 ▁bilion ▁a ▁sumursurot ▁a ▁naisinsina ▁kadagiti ▁tallo ▁a ▁sanga ▁ti ▁katoliko , ▁protestante ▁ken ▁ortodokso , ▁ti ▁kristianidad ▁ket ▁isu ▁ti ▁k