Veps (vep) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 10000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 25000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | vepwiki sample |
|---|---|
| original | «master i margarita»-serial (0000) paloin fil'mziba sigä, sen jäl'ghe mägi sai toine oficialitoi ''golgof''-nimi. kategorii:vepsän küläd vologdan agjan vitegran rajonas kategorii:vepsän küläd kirjamišton mödhe kategorii:eländpunktad kirjamišton mödhe nügüdläine lidnan pämez' om kristofer masar (suom. ''christoffer masar''). torsten viden (roč. ''torsten widén'') radoi lidnan ezipämehen vozil 0000-0 |
| 1000 | ▁« mas ter ▁i ▁mar g ari ta »- s eri al ▁(0000) ▁pal o in ▁fil ' m z i ba ▁s ig ä , ▁sen ▁jäl ' g he ▁mäg i ▁sai ▁to ine ▁of ic i al it oi ▁'' go l go f '' - nim i . ▁kategorii : v epsän ▁kül äd ▁v olog dan ▁agjan ▁v ite g ran ▁rajon as ▁kategorii : v epsän ▁kül äd ▁kirjamišton ▁mödhe ▁kategorii : eländpunktad ▁kirjamišton ▁mödhe ▁nügüdlä ine ▁lidnan ▁pämez ' ▁om ▁k ri st o f er ▁m as ar ▁( s u om . ▁'' ch ri st o f f er ▁m as ar '') . ▁t or st en ▁v iden ▁( ro č . ▁'' t or st en ▁w id é n '') ▁rad oi ▁lidnan ▁ez ip äm eh en ▁vozil ▁0000 - 0 |
| 3000 | ▁« mas ter ▁i ▁mar g ari ta »- seri al ▁(0000) ▁pal oin ▁fil ' m z iba ▁sigä , ▁sen ▁jäl ' ghe ▁mäg i ▁sai ▁toine ▁ofici al it oi ▁'' gol go f ''- nim i . ▁kategorii : vepsän ▁küläd ▁vologdan ▁agjan ▁v ite g ran ▁rajonas ▁kategorii : vepsän ▁küläd ▁kirjamišton ▁mödhe ▁kategorii : eländpunktad ▁kirjamišton ▁mödhe ▁nügüdläine ▁lidnan ▁pämez ' ▁om ▁kri st of er ▁mas ar ▁( suom . ▁'' ch ri st of f er ▁mas ar ''). ▁tor st en ▁viden ▁( ro č . ▁'' tor st en ▁w id é n '') ▁rad oi ▁lidnan ▁ez ip äm ehen ▁vozil ▁0000- 0 |
| 5000 | ▁« mas ter ▁i ▁mar g ari ta »- serial ▁(0000) ▁paloin ▁fil ' m z iba ▁sigä , ▁sen ▁jäl ' ghe ▁mäg i ▁sai ▁toine ▁ofici al it oi ▁'' gol go f ''- nimi . ▁kategorii : vepsän ▁küläd ▁vologdan ▁agjan ▁vite g ran ▁rajonas ▁kategorii : vepsän ▁küläd ▁kirjamišton ▁mödhe ▁kategorii : eländpunktad ▁kirjamišton ▁mödhe ▁nügüdläine ▁lidnan ▁pämez ' ▁om ▁krist of er ▁mas ar ▁( suom . ▁'' ch rist of fer ▁mas ar ''). ▁tor st en ▁viden ▁( ro č . ▁'' tor st en ▁w id é n '') ▁radoi ▁lidnan ▁ez ip äm ehen ▁vozil ▁0000- 0 |
| 10000 | ▁« mas ter ▁i ▁marg ari ta »- serial ▁(0000) ▁paloin ▁fil ' m ziba ▁sigä , ▁sen ▁jäl ' ghe ▁mägi ▁sai ▁toine ▁ofici al itoi ▁'' gol gof ''- nimi . ▁kategorii : vepsän ▁küläd ▁vologdan ▁agjan ▁vitegran ▁rajonas ▁kategorii : vepsän ▁küläd ▁kirjamišton ▁mödhe ▁kategorii : eländpunktad ▁kirjamišton ▁mödhe ▁nügüdläine ▁lidnan ▁pämez ' ▁om ▁krist of er ▁mas ar ▁( suom . ▁'' ch rist of fer ▁mas ar ''). ▁tor sten ▁viden ▁( roč . ▁'' tor sten ▁w id én '') ▁radoi ▁lidnan ▁ezip äm ehen ▁vozil ▁0000- 0 |
| 25000 | ▁« master ▁i ▁margarita »- serial ▁(0000) ▁paloin ▁fil ' m ziba ▁sigä , ▁sen ▁jäl ' ghe ▁mägi ▁sai ▁toine ▁oficial itoi ▁'' gol gof ''- nimi . ▁kategorii : vepsän ▁küläd ▁vologdan ▁agjan ▁vitegran ▁rajonas ▁kategorii : vepsän ▁küläd ▁kirjamišton ▁mödhe ▁kategorii : eländpunktad ▁kirjamišton ▁mödhe ▁nügüdläine ▁lidnan ▁pämez ' ▁om ▁kristofer ▁mas ar ▁( suom . ▁'' ch rist of fer ▁mas ar ''). ▁tor sten ▁viden ▁( roč . ▁'' tor sten ▁w id én '') ▁radoi ▁lidnan ▁ezipämehen ▁vozil ▁0000- 0 |