Rusyn (rue) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 10000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 25000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | ruewiki sample |
|---|---|
| original | * 0000 - ласлов чопей - педагог, словникарь, товмач, спорядник учебников про руськы школы, реформатор языка. * 0000 - євменій сабов - русиньскый култу нїмецьку. хоснованя біціґля спозначно выростло в часї другой світовой войны, коли погонны материалы были выградно придїлёваны про войско. але уж в 00- файл:parlament vienna june 0000 000.jpg|парламент у віднї файл:prag museum 0000.jpg|народный музей в празї файл:brno, čápkova str.jpg|міщаньскы хыжы в |
| 1000 | ▁* ▁0000 ▁- ▁ла слов ▁чо пе й ▁- ▁пе да го г , ▁слов ни кар ь , ▁т ов ма ч , ▁сп ор я д ник ▁у че б ни ков ▁про ▁ру сь кы ▁шко лы , ▁ре фор м ат ор ▁языка . ▁* ▁0000 ▁- ▁є в мен ій ▁са б ов ▁- ▁русиньс кый ▁култу ▁ нї мець ку . ▁хос нов аня ▁бі ці ґ ля ▁спо зна чно ▁вы ро ст ло ▁в ▁ча сї ▁дру го й ▁світ ово й ▁вой ны , ▁ко ли ▁по го н ны ▁мат ер и а лы ▁были ▁вы гра дно ▁при дї л ё ва ны ▁про ▁вой ско . ▁але ▁уж ▁в ▁00 - ▁файл : p ar la m en t ▁v i en n a ▁j un e ▁0000 ▁000. jpg | па р ла мен т ▁у ▁в ід нї ▁файл : p ra g ▁m us e um ▁0000. jpg | на род ный ▁му з е й ▁в ▁пра з ї ▁файл : b r n o , ▁ č á p k ov a ▁s t r . jpg | мі щ аньс кы ▁х ы жы ▁в |
| 3000 | ▁* ▁0000 ▁- ▁ла слов ▁чо пе й ▁- ▁педаго г , ▁слов ни кар ь , ▁тов ма ч , ▁сп ор я д ник ▁учеб ни ков ▁про ▁русь кы ▁школы , ▁ре фор мат ор ▁языка . ▁* ▁0000 ▁- ▁є в мен ій ▁са бов ▁- ▁русиньскый ▁култу ▁нїмець ку . ▁хоснованя ▁бі ці ґ ля ▁спо зна чно ▁выро ст ло ▁в ▁часї ▁друго й ▁світовой ▁войны , ▁коли ▁по го н ны ▁матер и а лы ▁были ▁вы гра дно ▁при дї лё ва ны ▁про ▁вой ско . ▁але ▁уж ▁в ▁00- ▁файл : p ar la m ent ▁v i en na ▁j un e ▁0000 ▁000. jpg | па р ла мент ▁у ▁від нї ▁файл : p ra g ▁m us e um ▁0000. jpg | народ ный ▁музе й ▁в ▁пра зї ▁файл : b r n o , ▁č á p k ov a ▁str . jpg | мі щ аньс кы ▁хы жы ▁в |
| 5000 | ▁* ▁0000 ▁- ▁ла слов ▁чо пе й ▁- ▁педагог , ▁слов ни карь , ▁товмач , ▁спор яд ник ▁учеб ников ▁про ▁русь кы ▁школы , ▁ре формат ор ▁языка . ▁* ▁0000 ▁- ▁єв мен ій ▁са бов ▁- ▁русиньскый ▁култу ▁нїмець ку . ▁хоснованя ▁бі ці ґ ля ▁спо зна чно ▁выро ст ло ▁в ▁часї ▁другой ▁світовой ▁войны , ▁коли ▁по го н ны ▁матери а лы ▁были ▁выгра дно ▁при дї лё ваны ▁про ▁вой ско . ▁але ▁уж ▁в ▁00- ▁файл : p ar la m ent ▁v i en na ▁j un e ▁0000 ▁000. jpg | пар ла мент ▁у ▁від нї ▁файл : p ra g ▁m use um ▁0000. jpg | народ ный ▁музей ▁в ▁пра зї ▁файл : b r n o , ▁č á p k ov a ▁str . jpg | мі щ аньс кы ▁хы жы ▁в |
| 10000 | ▁* ▁0000 ▁- ▁ла слов ▁чопей ▁- ▁педагог , ▁слов ни карь , ▁товмач , ▁спор яд ник ▁учеб ников ▁про ▁руськы ▁школы , ▁реформатор ▁языка . ▁* ▁0000 ▁- ▁єв мен ій ▁сабов ▁- ▁русиньскый ▁култу ▁нїмець ку . ▁хоснованя ▁біціґ ля ▁спо зна чно ▁выро ст ло ▁в ▁часї ▁другой ▁світовой ▁войны , ▁коли ▁по гон ны ▁матери а лы ▁были ▁выгра дно ▁при дї лё ваны ▁про ▁войско . ▁але ▁уж ▁в ▁00- ▁файл : par la m ent ▁v ien na ▁j un e ▁0000 ▁000. jpg | пар ла мент ▁у ▁від нї ▁файл : p rag ▁museum ▁0000. jpg | народ ный ▁музей ▁в ▁празї ▁файл : b r no , ▁č á p kov a ▁str . jpg | мі щ аньскы ▁хы жы ▁в |
| 25000 | ▁* ▁0000 ▁- ▁ласлов ▁чопей ▁- ▁педагог , ▁словникарь , ▁товмач , ▁спорядник ▁учебников ▁про ▁руськы ▁школы , ▁реформатор ▁языка . ▁* ▁0000 ▁- ▁євменій ▁сабов ▁- ▁русиньскый ▁култу ▁нїмецьку . ▁хоснованя ▁біціґля ▁спозна чно ▁выро ст ло ▁в ▁часї ▁другой ▁світовой ▁войны , ▁коли ▁по гон ны ▁материа лы ▁были ▁выгра дно ▁при дїлё ваны ▁про ▁войско . ▁але ▁уж ▁в ▁00- ▁файл : par la ment ▁v ien na ▁j une ▁0000 ▁000. jpg | пар ламент ▁у ▁віднї ▁файл : p rag ▁museum ▁0000. jpg | народный ▁музей ▁в ▁празї ▁файл : br no , ▁č á p kova ▁str . jpg | міщ аньскы ▁хыжы ▁в |