Ladino (lad) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
10000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
25000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizeladwiki sample
original 000px el territorio de querétaro kolinda al norte kon san luis potosí, al sud topa kon el estado de michoacán, kon el estado de meksiko al sudoeste, k
el antiko nombre dela sivdad es dekonyesido, se kree ke es de lingua raramuri i sinyifika ''lugar seko i arenoso''. otroa version reza, ke en lingua n
matilda estudió en la eskola de la komunita djudia de milano. estudio linguas en la universita "bocconi" de milano i endemás literaturas italiana i dj
1000 ▁000 px ▁el ▁territor io ▁de ▁q uer é tar o ▁kol in da ▁al ▁norte ▁kon ▁san ▁lu is ▁po tos í , ▁al ▁sud ▁topa ▁kon ▁el ▁estado ▁de ▁mi cho ac án , ▁kon ▁el ▁estado ▁de ▁meksiko ▁al ▁su do este , ▁k
▁el ▁ant iko ▁nombre ▁del a ▁sivdad ▁es ▁de kon yes ido , ▁se ▁kre e ▁ke ▁es ▁de ▁lingua ▁r ar am ur i ▁i ▁sin y if ika ▁'' lu gar ▁se ko ▁i ▁ar enos o ''. ▁o tro a ▁v ers ion ▁re za , ▁ke ▁en ▁lingua ▁n
▁m at il da ▁estudi ó ▁en ▁la ▁esk ola ▁de ▁la ▁komunita ▁djudia ▁de ▁mil ano . ▁estudi o ▁lin guas ▁en ▁la ▁univers ita ▁" bo c c on i " ▁de ▁mil ano ▁i ▁ende m ás ▁l iter at ur as ▁ital i ana ▁i ▁dj
3000 ▁000 px ▁el ▁territorio ▁de ▁q uer é tar o ▁kol inda ▁al ▁norte ▁kon ▁san ▁luis ▁po tos í , ▁al ▁sud ▁topa ▁kon ▁el ▁estado ▁de ▁mi cho acán , ▁kon ▁el ▁estado ▁de ▁meksiko ▁al ▁su do este , ▁k
▁el ▁antiko ▁nombre ▁dela ▁sivdad ▁es ▁de kon yes ido , ▁se ▁kre e ▁ke ▁es ▁de ▁lingua ▁r ar am ur i ▁i ▁sinyifika ▁'' lugar ▁se ko ▁i ▁ar enos o ''. ▁otro a ▁vers ion ▁re za , ▁ke ▁en ▁lingua ▁n
▁mat il da ▁estudi ó ▁en ▁la ▁eskola ▁de ▁la ▁komunita ▁djudia ▁de ▁mil ano . ▁estudio ▁linguas ▁en ▁la ▁universita ▁" bo c con i " ▁de ▁mil ano ▁i ▁endemás ▁liter at uras ▁ital iana ▁i ▁dj
5000 ▁000 px ▁el ▁territorio ▁de ▁querétaro ▁kol inda ▁al ▁norte ▁kon ▁san ▁luis ▁potosí , ▁al ▁sud ▁topa ▁kon ▁el ▁estado ▁de ▁michoacán , ▁kon ▁el ▁estado ▁de ▁meksiko ▁al ▁sudoeste , ▁k
▁el ▁antiko ▁nombre ▁dela ▁sivdad ▁es ▁de kon yes ido , ▁se ▁kre e ▁ke ▁es ▁de ▁lingua ▁r ar am ur i ▁i ▁sinyifika ▁'' lugar ▁se ko ▁i ▁ar enos o ''. ▁otro a ▁vers ion ▁re za , ▁ke ▁en ▁lingua ▁n
▁mat il da ▁estudi ó ▁en ▁la ▁eskola ▁de ▁la ▁komunita ▁djudia ▁de ▁mil ano . ▁estudio ▁linguas ▁en ▁la ▁universita ▁" bo c con i " ▁de ▁mil ano ▁i ▁endemás ▁liter at uras ▁italiana ▁i ▁dj
10000 ▁000 px ▁el ▁territorio ▁de ▁querétaro ▁kolinda ▁al ▁norte ▁kon ▁san ▁luis ▁potosí , ▁al ▁sud ▁topa ▁kon ▁el ▁estado ▁de ▁michoacán , ▁kon ▁el ▁estado ▁de ▁meksiko ▁al ▁sudoeste , ▁k
▁el ▁antiko ▁nombre ▁dela ▁sivdad ▁es ▁de kon yes ido , ▁se ▁kree ▁ke ▁es ▁de ▁lingua ▁r aram ur i ▁i ▁sinyifika ▁'' lugar ▁seko ▁i ▁ar enos o ''. ▁otro a ▁version ▁re za , ▁ke ▁en ▁lingua ▁n
▁mat il da ▁estudió ▁en ▁la ▁eskola ▁de ▁la ▁komunita ▁djudia ▁de ▁milano . ▁estudio ▁linguas ▁en ▁la ▁universita ▁" bo c con i " ▁de ▁milano ▁i ▁endemás ▁liter aturas ▁italiana ▁i ▁dj
25000 ▁000 px ▁el ▁territorio ▁de ▁querétaro ▁kolinda ▁al ▁norte ▁kon ▁san ▁luis ▁potosí , ▁al ▁sud ▁topa ▁kon ▁el ▁estado ▁de ▁michoacán , ▁kon ▁el ▁estado ▁de ▁meksiko ▁al ▁sudoeste , ▁k
▁el ▁antiko ▁nombre ▁dela ▁sivdad ▁es ▁de kon yesido , ▁se ▁kree ▁ke ▁es ▁de ▁lingua ▁r aram uri ▁i ▁sinyifika ▁'' lugar ▁seko ▁i ▁ar enos o ''. ▁otro a ▁version ▁reza , ▁ke ▁en ▁lingua ▁n
▁matilda ▁estudió ▁en ▁la ▁eskola ▁de ▁la ▁komunita ▁djudia ▁de ▁milano . ▁estudio ▁linguas ▁en ▁la ▁universita ▁" boc con i " ▁de ▁milano ▁i ▁endemás ▁liter aturas ▁italiana ▁i ▁dj