Ligurian (lij) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 10000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 25000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | lijwiki sample |
|---|---|
| original | 0.bana hediye 0.yitirmeden 0.beni unutur musun? 0.kaçsam gitsem 0.çok aşık 0.değirmendeki 0.hiç kimseyim 0.kendime zararım 0.düşen yaprağın içinde 00. pluton scin a-o 00 agosto do 0000 plutón o l'ea conscideròu o nòno pianeta, da-o sô, do scistema solâ. ancheu o l'è clascificòu comme un pianeta nan. mongòllia (nomme offiçiâ: ''монгол улс - mongol uls''), stato de l'asia orientâ indipendente da o 0000, a so capitâ a l'è ulaanbaatar. a mongollia a l |
| 1000 | ▁0 . b ana ▁ he di y e ▁0 . y i ti r me den ▁0 . b eni ▁un u tu r ▁m us un ? ▁0 . ka ç sa m ▁gi t se m ▁0 . ço k ▁a ş ı k ▁0 . de ğ i r men de ki ▁0 . hi ç ▁k i m se y i m ▁0 . k en di me ▁za ra r ı m ▁0 . d ü ş en ▁ ya p ra ğ ı n ▁i ç in de ▁00 . ▁p lu ton ▁scin ▁a - o ▁00 ▁a go sto ▁do ▁0000 ▁p lu t ón ▁o ▁l ' ea ▁consci der òu ▁o ▁n ò no ▁pi ane ta , ▁da - o ▁s ô , ▁do ▁sciste ma ▁so lâ . ▁anche u ▁o ▁l ' è ▁cla sci fi c òu ▁comme ▁un ▁pi ane ta ▁n an . ▁mon g ò l lia ▁( no mme ▁offi çiâ : ▁'' м о н г о л ▁ у л с ▁- ▁mon go l ▁u l s ''), ▁stato ▁de ▁l ' a sia ▁ori entâ ▁indi pend ente ▁da ▁o ▁0000, ▁a ▁so ▁capitâ ▁a ▁l ' è ▁u la an ba a ta r . ▁a ▁mon go l lia ▁a ▁l |
| 3000 | ▁0. b ana ▁he di y e ▁0. y i ti r me den ▁0. b eni ▁un u tur ▁m us un ? ▁0. ka ç sa m ▁gi t se m ▁0. ço k ▁a ş ı k ▁0. de ğ ir men de ki ▁0. hi ç ▁k i m se y i m ▁0. k en di me ▁za ra r ı m ▁0. dü ş en ▁ ya p ra ğ ı n ▁i çin de ▁00. ▁p lu ton ▁scin ▁a - o ▁00 ▁agosto ▁do ▁0000 ▁p lu t ón ▁o ▁l ' ea ▁conscider òu ▁o ▁n ò no ▁piane ta , ▁da - o ▁sô , ▁do ▁scistema ▁so lâ . ▁anche u ▁o ▁l ' è ▁clasci fic òu ▁comme ▁un ▁piane ta ▁n an . ▁mon gò llia ▁( nomme ▁offiçiâ : ▁'' м о н г о л ▁ у л с ▁- ▁mon go l ▁u l s ''), ▁stato ▁de ▁l ' asia ▁orientâ ▁indipendente ▁da ▁o ▁0000, ▁a ▁so ▁capitâ ▁a ▁l ' è ▁u la an ba a ta r . ▁a ▁mon go llia ▁a ▁l |
| 5000 | ▁0. b ana ▁he di y e ▁0. y iti r me den ▁0. b eni ▁un u tur ▁m us un ? ▁0. ka ç sa m ▁gi t se m ▁0. ço k ▁a ş ı k ▁0. de ğ ir men de ki ▁0. hi ç ▁ki m se y i m ▁0. k en di me ▁za ra r ı m ▁0. dü ş en ▁ya pra ğ ı n ▁i çin de ▁00. ▁p lu ton ▁scin ▁a - o ▁00 ▁agosto ▁do ▁0000 ▁p lu t ón ▁o ▁l ' ea ▁conscider òu ▁o ▁n ò no ▁piane ta , ▁da - o ▁sô , ▁do ▁scistema ▁so lâ . ▁ancheu ▁o ▁l ' è ▁clasci fic òu ▁comme ▁un ▁piane ta ▁n an . ▁mon gò llia ▁( nomme ▁offiçiâ : ▁'' м о н г о л ▁ у л с ▁- ▁mon go l ▁ul s ''), ▁stato ▁de ▁l ' asia ▁orientâ ▁indipendente ▁da ▁o ▁0000, ▁a ▁so ▁capitâ ▁a ▁l ' è ▁u la an ba a tar . ▁a ▁mon go llia ▁a ▁l |
| 10000 | ▁0. bana ▁he di ye ▁0. y iti r me den ▁0. b eni ▁un u tur ▁mus un ? ▁0. ka ç sa m ▁gi t se m ▁0. ço k ▁a ş ı k ▁0. de ğ ir men de ki ▁0. hi ç ▁ki m se yi m ▁0. ken di me ▁za ra r ı m ▁0. dü ş en ▁ya pra ğ ı n ▁i çin de ▁00. ▁plu ton ▁scin ▁a - o ▁00 ▁agosto ▁do ▁0000 ▁plu t ón ▁o ▁l ' ea ▁conscideròu ▁o ▁nò no ▁pianeta , ▁da - o ▁sô , ▁do ▁scistema ▁solâ . ▁ancheu ▁o ▁l ' è ▁clasci ficòu ▁comme ▁un ▁pianeta ▁n an . ▁mon gò llia ▁( nomme ▁offiçiâ : ▁'' м о н г о л ▁ у л с ▁- ▁mongo l ▁ul s ''), ▁stato ▁de ▁l ' asia ▁orientâ ▁indipendente ▁da ▁o ▁0000, ▁a ▁so ▁capitâ ▁a ▁l ' è ▁u la an ba a tar . ▁a ▁mongo llia ▁a ▁l |
| 25000 | ▁0. bana ▁hedi ye ▁0. y iti rme den ▁0. b eni ▁un u tur ▁mus un ? ▁0. ka ç sa m ▁gi tse m ▁0. ço k ▁a ş ı k ▁0. de ğ ir men de ki ▁0. hi ç ▁ki m se yi m ▁0. ken di me ▁za rar ı m ▁0. dü ş en ▁ya pra ğ ın ▁i çin de ▁00. ▁plu ton ▁scin ▁a - o ▁00 ▁agosto ▁do ▁0000 ▁plu tón ▁o ▁l ' ea ▁conscideròu ▁o ▁nò no ▁pianeta , ▁da - o ▁sô , ▁do ▁scistema ▁solâ . ▁ancheu ▁o ▁l ' è ▁clasci ficòu ▁comme ▁un ▁pianeta ▁nan . ▁mon gò llia ▁( nomme ▁offiçiâ : ▁'' м он г ол ▁ у л с ▁- ▁mongo l ▁ul s ''), ▁stato ▁de ▁l ' asia ▁orientâ ▁indipendente ▁da ▁o ▁0000, ▁a ▁so ▁capitâ ▁a ▁l ' è ▁u la an ba atar . ▁a ▁mongo llia ▁a ▁l |