BPEmb: bcl

Central Bikol (bcl) subword embeddings

Vocab size	vocab	model	25 dim	50 dim	100 dim	200 dim	300 dim
1000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
3000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
5000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
10000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
25000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix

View Central Bikol subword embeddings in TensorFlow Projector

2-D UMAP plots

Embedding matrix plots

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab size	bclwiki sample
original	tatak kan abkat an an banwa: kultura buda artes kan tabaco (abkat) saróng kasararoan nin mga artistang taga-syudad nin tabaco, albay. namuknâ ini kan sa pankagabsan, kun an parehong geographikong kabangaan yaon sa rasonableng panahon sa harong nin mitingan, kaya sinda magmimiting sa kapareho man san mapa kan iloilo na ipinapahiling an kinamomogtakan kan cabatuan an cabatuan sarong ikatolong klaseng banwaan sa provincia kan iloilo, filipinas. segun
1000	▁ta tak ▁kan ▁ab k at ▁an ▁an ▁ban wa : ▁k ultur a ▁b ud a ▁art es ▁kan ▁tab ac o ▁( ab k at ) ▁sar ó ng ▁kas ar aro an ▁nin ▁mga ▁art ist ang ▁taga - s yudad ▁nin ▁tab ac o , ▁al bay . ▁nam uk n â ▁ini ▁kan ▁sa ▁pan k aga b san , ▁kun ▁an ▁par eh ong ▁ge ograp h ikong ▁kab anga an ▁yaon ▁sa ▁r as on ab l eng ▁panahon ▁sa ▁har ong ▁nin ▁m it ing an , ▁ka ya ▁sinda ▁mag m im it ing ▁sa ▁kap ar eh o ▁man ▁san ▁map a ▁kan ▁i lo il o ▁na ▁ipin ap ah iling ▁an ▁kin am om og tak an ▁kan ▁cab at uan ▁an ▁cab at uan ▁sarong ▁ik at olong ▁klaseng ▁banwaan ▁sa ▁provincia ▁kan ▁i lo il o , ▁filipinas . ▁segun
3000	▁ta tak ▁kan ▁ab kat ▁an ▁an ▁ban wa : ▁kultura ▁b uda ▁art es ▁kan ▁tabaco ▁( ab kat ) ▁saróng ▁kas araro an ▁nin ▁mga ▁art istang ▁taga - s yudad ▁nin ▁tabaco , ▁albay . ▁nam ukn â ▁ini ▁kan ▁sa ▁pan k aga b san , ▁kun ▁an ▁parehong ▁geograph ikong ▁kab anga an ▁yaon ▁sa ▁r ason ab leng ▁panahon ▁sa ▁harong ▁nin ▁m it ingan , ▁kaya ▁sinda ▁mag m im it ing ▁sa ▁kap ar eho ▁man ▁san ▁mapa ▁kan ▁iloilo ▁na ▁ipinapahiling ▁an ▁kinamomogtakan ▁kan ▁cab at uan ▁an ▁cab at uan ▁sarong ▁ikatolong ▁klaseng ▁banwaan ▁sa ▁provincia ▁kan ▁iloilo , ▁filipinas . ▁segun
5000	▁ta tak ▁kan ▁ab kat ▁an ▁an ▁banwa : ▁kultura ▁buda ▁artes ▁kan ▁tabaco ▁( ab kat ) ▁saróng ▁kasararoan ▁nin ▁mga ▁art istang ▁taga - s yudad ▁nin ▁tabaco , ▁albay . ▁nam uknâ ▁ini ▁kan ▁sa ▁pan k aga bsan , ▁kun ▁an ▁parehong ▁geograph ikong ▁kab angaan ▁yaon ▁sa ▁rason ab leng ▁panahon ▁sa ▁harong ▁nin ▁mit ingan , ▁kaya ▁sinda ▁mag m im it ing ▁sa ▁kap ar eho ▁man ▁san ▁mapa ▁kan ▁iloilo ▁na ▁ipinapahiling ▁an ▁kinamomogtakan ▁kan ▁cab atuan ▁an ▁cab atuan ▁sarong ▁ikatolong ▁klaseng ▁banwaan ▁sa ▁provincia ▁kan ▁iloilo , ▁filipinas . ▁segun
10000	▁ta tak ▁kan ▁ab kat ▁an ▁an ▁banwa : ▁kultura ▁buda ▁artes ▁kan ▁tabaco ▁( ab kat ) ▁saróng ▁kasararoan ▁nin ▁mga ▁artistang ▁taga - syudad ▁nin ▁tabaco , ▁albay . ▁nam uknâ ▁ini ▁kan ▁sa ▁pan kaga bsan , ▁kun ▁an ▁parehong ▁geograph ikong ▁kab angaan ▁yaon ▁sa ▁rason ab leng ▁panahon ▁sa ▁harong ▁nin ▁mit ingan , ▁kaya ▁sinda ▁mag m im iting ▁sa ▁kapar eho ▁man ▁san ▁mapa ▁kan ▁iloilo ▁na ▁ipinapahiling ▁an ▁kinamomogtakan ▁kan ▁cabatuan ▁an ▁cabatuan ▁sarong ▁ikatolong ▁klaseng ▁banwaan ▁sa ▁provincia ▁kan ▁iloilo , ▁filipinas . ▁segun
25000	▁tatak ▁kan ▁ab kat ▁an ▁an ▁banwa : ▁kultura ▁buda ▁artes ▁kan ▁tabaco ▁( ab kat ) ▁saróng ▁kasararoan ▁nin ▁mga ▁artistang ▁taga - syudad ▁nin ▁tabaco , ▁albay . ▁namuknâ ▁ini ▁kan ▁sa ▁pankagabsan , ▁kun ▁an ▁parehong ▁geograph ikong ▁kabangaan ▁yaon ▁sa ▁rason ableng ▁panahon ▁sa ▁harong ▁nin ▁mit ingan , ▁kaya ▁sinda ▁magm im iting ▁sa ▁kapareho ▁man ▁san ▁mapa ▁kan ▁iloilo ▁na ▁ipinapahiling ▁an ▁kinamomogtakan ▁kan ▁cabatuan ▁an ▁cabatuan ▁sarong ▁ikatolong ▁klaseng ▁banwaan ▁sa ▁provincia ▁kan ▁iloilo , ▁filipinas . ▁segun