Asturian (ast) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
10000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
25000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
50000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
100000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
200000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizeastwiki sample
original * 000 -- territorios esternos australianos: antártida, islles christmas, islles cocos y norfolk * 000 -- brunéi * 000 -- nauru * 000 -- papúa nueva gu
el territoriu griegu ye principalmente montascosu y conforma xuna península que sobresal del estremu sur de los balcanes y termina na península del pe
* 0000 - petronila, reina d'aragón * 0000 - antonio de gaztañeta, marín español. * 0000 - fernando arrabal, escritor español.
1000 ▁* ▁000 ▁- - ▁ter ri tor ios ▁es ter n os ▁a us tral i anos : ▁an tá r ti da , ▁is l les ▁ch ris t m as , ▁is l les ▁c oc os ▁y ▁nor f ol k ▁* ▁000 ▁- - ▁b r un é i ▁* ▁000 ▁- - ▁na u ru ▁* ▁000 ▁- - ▁pa p ú a ▁nueva ▁gu
▁el ▁ter ri tor iu ▁g ri egu ▁ye ▁princip almente ▁mon ta s cos u ▁y ▁con for ma ▁xun a ▁p en ín su la ▁que ▁so b res al ▁del ▁es tre mu ▁sur ▁de ▁los ▁b al c anes ▁y ▁ter m ina ▁na ▁p en ín su la ▁del ▁pe
▁* ▁0000 ▁- ▁pe tr on i la , ▁re ina ▁d ' ar ag ón ▁* ▁0000 ▁- ▁an ton io ▁de ▁g a z ta ñ eta , ▁mar ín ▁es pañ ol . ▁* ▁0000 ▁- ▁f ern ando ▁ar ra b al , ▁escri tor ▁es pañ ol .
3000 ▁* ▁000 ▁- - ▁terri tor ios ▁es tern os ▁austral i anos : ▁an tá r tida , ▁islles ▁chris t m as , ▁islles ▁coc os ▁y ▁nor f ol k ▁* ▁000 ▁- - ▁b r un é i ▁* ▁000 ▁- - ▁na u ru ▁* ▁000 ▁- - ▁pa p ú a ▁nueva ▁gu
▁el ▁territoriu ▁griegu ▁ye ▁principalmente ▁mon tas cos u ▁y ▁con forma ▁xun a ▁península ▁que ▁sob res al ▁del ▁estre mu ▁sur ▁de ▁los ▁bal c anes ▁y ▁ter m ina ▁na ▁península ▁del ▁pe
▁* ▁0000 ▁- ▁pe tron ila , ▁re ina ▁d ' ar ag ón ▁* ▁0000 ▁- ▁anton io ▁de ▁g az ta ñ eta , ▁mar ín ▁español . ▁* ▁0000 ▁- ▁fern ando ▁ar ra bal , ▁escritor ▁español .
5000 ▁* ▁000 ▁-- ▁territorios ▁es tern os ▁austral ianos : ▁an tá r tida , ▁islles ▁chris t mas , ▁islles ▁coc os ▁y ▁nor fol k ▁* ▁000 ▁-- ▁br un é i ▁* ▁000 ▁-- ▁na u ru ▁* ▁000 ▁-- ▁pa p ú a ▁nueva ▁gu
▁el ▁territoriu ▁griegu ▁ye ▁principalmente ▁mon tas cos u ▁y ▁con forma ▁xun a ▁península ▁que ▁sob res al ▁del ▁estremu ▁sur ▁de ▁los ▁bal c anes ▁y ▁ter mina ▁na ▁península ▁del ▁pe
▁* ▁0000 ▁- ▁pe tron ila , ▁reina ▁d ' ar ag ón ▁* ▁0000 ▁- ▁antonio ▁de ▁g az ta ñ eta , ▁mar ín ▁español . ▁* ▁0000 ▁- ▁fern ando ▁ar ra bal , ▁escritor ▁español .
10000 ▁* ▁000 ▁-- ▁territorios ▁es tern os ▁austral ianos : ▁an tár tida , ▁islles ▁christmas , ▁islles ▁coc os ▁y ▁nor fol k ▁* ▁000 ▁-- ▁brun éi ▁* ▁000 ▁-- ▁na uru ▁* ▁000 ▁-- ▁pap úa ▁nueva ▁gu
▁el ▁territoriu ▁griegu ▁ye ▁principalmente ▁montas cos u ▁y ▁con forma ▁xun a ▁península ▁que ▁sobres al ▁del ▁estremu ▁sur ▁de ▁los ▁bal canes ▁y ▁termina ▁na ▁península ▁del ▁pe
▁* ▁0000 ▁- ▁pe tron ila , ▁reina ▁d ' aragón ▁* ▁0000 ▁- ▁antonio ▁de ▁g az ta ñ eta , ▁mar ín ▁español . ▁* ▁0000 ▁- ▁fernando ▁ar ra bal , ▁escritor ▁español .
25000 ▁* ▁000 ▁-- ▁territorios ▁esternos ▁austral ianos : ▁antártida , ▁islles ▁christmas , ▁islles ▁coc os ▁y ▁nor folk ▁* ▁000 ▁-- ▁brun éi ▁* ▁000 ▁-- ▁na uru ▁* ▁000 ▁-- ▁papúa ▁nueva ▁gu
▁el ▁territoriu ▁griegu ▁ye ▁principalmente ▁montascos u ▁y ▁conforma ▁xun a ▁península ▁que ▁sobresal ▁del ▁estremu ▁sur ▁de ▁los ▁balcanes ▁y ▁termina ▁na ▁península ▁del ▁pe
▁* ▁0000 ▁- ▁pe tron ila , ▁reina ▁d ' aragón ▁* ▁0000 ▁- ▁antonio ▁de ▁gaz ta ñ eta , ▁marín ▁español . ▁* ▁0000 ▁- ▁fernando ▁ar ra bal , ▁escritor ▁español .
50000 ▁* ▁000 ▁-- ▁territorios ▁esternos ▁australianos : ▁antártida , ▁islles ▁christmas , ▁islles ▁cocos ▁y ▁norfolk ▁* ▁000 ▁-- ▁brunéi ▁* ▁000 ▁-- ▁nauru ▁* ▁000 ▁-- ▁papúa ▁nueva ▁gu
▁el ▁territoriu ▁griegu ▁ye ▁principalmente ▁montascosu ▁y ▁conforma ▁xuna ▁península ▁que ▁sobresal ▁del ▁estremu ▁sur ▁de ▁los ▁balcanes ▁y ▁termina ▁na ▁península ▁del ▁pe
▁* ▁0000 ▁- ▁petron ila , ▁reina ▁d ' aragón ▁* ▁0000 ▁- ▁antonio ▁de ▁gaz ta ñeta , ▁marín ▁español . ▁* ▁0000 ▁- ▁fernando ▁arra bal , ▁escritor ▁español .
100000 ▁* ▁000 ▁-- ▁territorios ▁esternos ▁australianos : ▁antártida , ▁islles ▁christmas , ▁islles ▁cocos ▁y ▁norfolk ▁* ▁000 ▁-- ▁brunéi ▁* ▁000 ▁-- ▁nauru ▁* ▁000 ▁-- ▁papúa ▁nueva ▁gu
▁el ▁territoriu ▁griegu ▁ye ▁principalmente ▁montascosu ▁y ▁conforma ▁xuna ▁península ▁que ▁sobresal ▁del ▁estremu ▁sur ▁de ▁los ▁balcanes ▁y ▁termina ▁na ▁península ▁del ▁pe
▁* ▁0000 ▁- ▁petronila , ▁reina ▁d ' aragón ▁* ▁0000 ▁- ▁antonio ▁de ▁gaz ta ñeta , ▁marín ▁español . ▁* ▁0000 ▁- ▁fernando ▁arrabal , ▁escritor ▁español .