Dzongkha (dz) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | dzwiki sample |
|---|---|
| original | ཐུན་ཚན་གཉིས་པ། ༡༽ སྐད་སྒྱུར་གྱི་དོན་ལུ་སྔ་གོང་གི་གྲ་སྒྲིག་དང་ཕན་ཐབས། - སྐད་སྒྱུར་འབད་སའི་ས་ཁོངས་ཙ་ཏོག་ཏོ་ཅིག་དགོ། - སྐད་སྒྱུར་གྱི་ལཱ་འདི་ ལཱ་གཞན་དང་གཅ : མི་དབང་རྒྱལ་བཙུན་ ཨ་ཞེ་ ཚེ་རིང་དབྱངས་སྒྲོན་དབང་ཕྱུག་མཆོག་ལས་ འབྲུག་རྒྱལ་པོ་ འཇིགས་མེད་གེ་སར་ རྣམ་རྒྱལ་དབང་ཕྱུག་ (༡༩༨༠), དང་ ཨ་ཞེ་བདེ་ཆེན་དབྱངས་འཛོམས 00x00px སྐད་ཡིག ཨིང་ལིཤ - བོད་སྐད།་ - ཨུ་རུ་སུའི་སྐད།་ - རྒྱ་སྐད - ཧྥུ་རན་སིའི་སྐད་ -ལྷོ་ཀོ་རི་ཡའི་སྐད་ -གསེར་ལྡན་རྒྱལ་ཁབ་ཀྱི་སྐད - |
| 1000 | ▁ཐ ུན་ ཚ ན་ གཉིས་ པ། ▁0 ༽ ▁སྐད་ སྒྱུར་ གྱི་ དོན་ ལུ་ སྔ ་ གོང་ གི་ ག ྲ་ སྒྲ ིག་ དང་ ཕན་ ཐ བ ས། ▁- ▁སྐད་ སྒྱུར་ འབད་ ས འི་ ས་ ཁ ོངས་ ཙ ་ ཏ ོག་ ཏ ོ་ ཅིག་ དག ོ། ▁- ▁སྐད་ སྒྱུར་ གྱི་ ལ ཱ་ འདི་ ▁ལ ཱ་ གཞན་ དང་ གཅ ▁: ▁མི་ དབང་ རྒྱལ་ བཙ ུན་ ▁ཨ་ཞེ་ ▁ ཚེ་ རིང་ དབྱ ངས་ སྒྲོན་ དབང་ཕྱུག་མཆོག་ ལས་ ▁འབྲུག་ རྒྱལ་ པོ་ ▁འཇིགས་མེད་ གེ་ ས ར་ ▁ར ྣ མ་ རྒྱལ་ དབང་ཕྱུག་ ▁( 0000) , ▁ དང་ ▁ཨ་ཞེ་ བ དེ་ ཆེན་ དབྱ ངས་ འཛ ོ མ ས ▁00 x 00 px ▁སྐད་ ཡ ིག ▁ཨ ིང་ ལི ཤ ▁- ▁བོད་ སྐད། ་ ▁- ▁ཨ ུ་ རུ་ ས ུའི་ སྐད། ་ ▁- ▁རྒྱ་ སྐ ད ▁- ▁ཧ ྥ ུ་ ར ན་ ས ིའི་ སྐད་ ▁- ལྷོ་ ཀ ོ་ རི་ ཡ འི་ སྐད་ ▁- གས ེར་ ལྡན་ རྒྱལ་ཁབ་ ཀྱི་ སྐ ད ▁- |
| 3000 | ▁ཐུན་ ཚན་ གཉིས་ པ། ▁0 ༽ ▁སྐད་སྒྱུར་ གྱི་ དོན་ལུ་ སྔ ་ གོང་ གི་ ག ྲ་ སྒྲིག་ དང་ ཕན་ ཐ བས། ▁- ▁སྐད་སྒྱུར་ འབད་ སའི་ ས་ ཁོངས་ ཙ ་ ཏོག་ ཏོ་ ཅིག་ དག ོ། ▁- ▁སྐད་སྒྱུར་ གྱི་ ལཱ་ འདི་ ▁ལ ཱ་ གཞན་ དང་ གཅ ▁: ▁མི་དབང་ རྒྱལ་ བཙུན་ ▁ཨ་ཞེ་ ▁ཚེ་རིང་ དབྱངས་ སྒྲོན་ དབང་ཕྱུག་མཆོག་ ལས་ ▁འབྲུག་ རྒྱལ་པོ་ ▁འཇིགས་མེད་ གེ་ སར་ ▁རྣམ་ རྒྱལ་ དབང་ཕྱུག་ ▁( 0000) , ▁དང་ ▁ཨ་ཞེ་ བ དེ་ཆེན་ དབྱངས་ འཛ ོ མ ས ▁00 x 00 px ▁སྐད་ ཡིག ▁ཨ ིང་ལི ཤ ▁- ▁བོད་ སྐད། ་ ▁- ▁ཨ ུ་རུ་ ས ུའི་ སྐད། ་ ▁- ▁རྒྱ་ སྐ ད ▁- ▁ཧ ྥ ུ་ ར ན་ས ིའི་ སྐད་ ▁- ལྷོ་ ཀོ་རི་ ཡའི་ སྐད་ ▁- གསེར་ ལྡན་ རྒྱལ་ཁབ་ཀྱི་ སྐ ད ▁- |
| 5000 | ▁ཐུན་ ཚན་ གཉིས་ པ། ▁0 ༽ ▁སྐད་སྒྱུར་ གྱི་ དོན་ལུ་ སྔ་ གོང་ གི་ ག ྲ་ སྒྲིག་ དང་ ཕན་ ཐ བས། ▁- ▁སྐད་སྒྱུར་ འབད་ སའི་ ས་ ཁོངས་ ཙ ་ ཏོག་ ཏོ་ ཅིག་ དག ོ། ▁- ▁སྐད་སྒྱུར་ གྱི་ ལཱ་ འདི་ ▁ལཱ་ གཞན་ དང་ གཅ ▁: ▁མི་དབང་ རྒྱལ་ བཙུན་ ▁ཨ་ཞེ་ ▁ཚེ་རིང་ དབྱངས་སྒྲོན་ དབང་ཕྱུག་མཆོག་ ལས་ ▁འབྲུག་ རྒྱལ་པོ་ ▁འཇིགས་མེད་ གེ་སར་ ▁རྣམ་རྒྱལ་ དབང་ཕྱུག་ ▁( 0000) , ▁དང་ ▁ཨ་ཞེ་ བ དེ་ཆེན་ དབྱངས་ འཛ ོ མ ས ▁00 x 00 px ▁སྐད་ཡིག ▁ཨ ིང་ལི ཤ ▁- ▁བོད་ སྐད།་ ▁- ▁ཨ ུ་རུ་ ས ུའི་ སྐད།་ ▁- ▁རྒྱ་ སྐད ▁- ▁ཧ ྥ ུ་ར ན་སིའི་ སྐད་ ▁- ལྷོ་ ཀོ་རི་ ཡའི་ སྐད་ ▁- གསེར་ ལྡན་ རྒྱལ་ཁབ་ཀྱི་ སྐད ▁- |