Goan Konkani (gom) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | gomwiki sample |
|---|---|
| original | अरबी कलेच्या वाटारांत सादारणपणान पोरन्या काळांतले अरबस्तान, परिसिया, मेसोपोटेमिया, सिरिया, पॅलेस्टायन, उत्तर आफ्रिका आनी आंदालूझीया (मुस्लीम स्पेन) ह् हांगा तरांतरांच्या प्राण्यांच्यो विंगड विंगड जाती दिसून येतात. व्हडल्या मांस खावपी प्राण्यांमदीं वांस्वेल, भालू, प्युमा, रानमाजर, कोळसुंदा, (t.anders) तिबेरीवस संराजाचे राज्वटकेच्या पंद्राव्या वर्सा पन्स पिलात जुदेइयाचो राजपाल, हेरद गालिलेइयाचो उपराजा, आनी लिजानिया आबिलेनेचो उपराजा आसताना, |
| 1000 | ▁अ र ब ी ▁क ले च्या ▁वा ट ारांत ▁स ाद ार ण पण ान ▁पो र न ्या ▁काळ ांत ले ▁अ र ब स्त ान , ▁पर िस िया , ▁म े सो प ो ट े म िया , ▁स िर िया , ▁प ॅ ले स्ट ाय न , ▁उत् तर ▁आ फ ्र िका ▁आनी ▁आ ंद ाल ू झ ी य ा ▁( म ु स् ली म ▁स् प ेन ) ▁ह ् ▁हांगा ▁त रांत र ांच्या ▁प्र ाण ्य ांच ्यो ▁वि ंग ड ▁वि ंग ड ▁ज ाती ▁दिस ून ▁ये तात . ▁व्हड ल्या ▁म ां स ▁ख ाव पी ▁प्र ाण ्यां म द ीं ▁व ां स् वे ल , ▁भ ाल ू , ▁प ्य ु म ा , ▁र ान म ाज र , ▁को ळ स ु ंद ा , ▁( t . and er s ) ▁ति ब ेर ी व स ▁सं र ाज ाचे ▁राज ्व टक े च्या ▁प ंद ्र ाव ्या ▁वर्सा ▁प न् स ▁प िल ात ▁ज ुद े इ य ाचो ▁राज प ाल , ▁हेर द ▁ग ाल ि ले इ य ाचो ▁उप र ाज ा , ▁आनी ▁ल ि ज ान िया ▁आ ब ि ले न े चो ▁उप र ाज ा ▁आस त ान ा , |
| 3000 | ▁अर बी ▁क ले च्या ▁वा ट ारांत ▁साद ारण पणान ▁पो र न ्या ▁काळांत ले ▁अर ब स्त ान , ▁पर िस िया , ▁मे सो पो ट ेम िया , ▁स िर िया , ▁प ॅ ले स्ट ायन , ▁उत्तर ▁आ फ ्र िका ▁आनी ▁आ ंद ाल ू झ ी या ▁( मु स् ली म ▁स्प ेन ) ▁ह ् ▁हांगा ▁त रांत र ांच्या ▁प्र ाण ्य ांच्यो ▁विंगड ▁विंगड ▁जाती ▁दिस ून ▁येतात . ▁व्हड ल्या ▁म ांस ▁ख ाव पी ▁प्र ाण ्यां मदीं ▁व ां स् वेल , ▁भ ाल ू , ▁प ्य ु मा , ▁र ान म ाज र , ▁को ळ सु ंद ा , ▁( t . and ers ) ▁ति ब ेर ी व स ▁सं र ाज ाचे ▁राज ्व टक ेच्या ▁प ंद्र ाव्या ▁वर्सा ▁प न्स ▁प िल ात ▁ज ुद े इ य ाचो ▁राज प ाल , ▁हेर द ▁ग ाल ि ले इ य ाचो ▁उप र ाज ा , ▁आनी ▁ल िज ान िया ▁आ बि ले न ेचो ▁उप र ाज ा ▁आस तान ा , |
| 5000 | ▁अर बी ▁क ले च्या ▁वाट ारांत ▁सादारणपणान ▁पोर न ्या ▁काळांत ले ▁अर ब स्त ान , ▁पर िस िया , ▁मे सो पो ट ेम िया , ▁स िर िया , ▁प ॅ ले स्ट ायन , ▁उत्तर ▁आफ ्र िका ▁आनी ▁आ ंद ाल ू झ ी या ▁( मु स् ली म ▁स्प ेन ) ▁ह ् ▁हांगा ▁त रांत र ांच्या ▁प्राण ्य ांच्यो ▁विंगड ▁विंगड ▁जाती ▁दिसून ▁येतात . ▁व्हड ल्या ▁म ांस ▁खाव पी ▁प्राण ्यां मदीं ▁व ां स् वेल , ▁भ ाल ू , ▁प ्यु मा , ▁रान म ाज र , ▁को ळ सु ंद ा , ▁( t . and ers ) ▁ति ब ेरी व स ▁सं राज ाचे ▁राज ्व टक ेच्या ▁प ंद्र ाव्या ▁वर्सा ▁प न्स ▁प िल ात ▁ज ुद े इ य ाचो ▁राज पाल , ▁हेर द ▁ग ाल ि ले इ य ाचो ▁उप राज ा , ▁आनी ▁ल िज ान िया ▁आ बि ले न ेचो ▁उप राज ा ▁आस ताना , |
| 10000 | ▁अरबी ▁कले च्या ▁वाट ारांत ▁सादारणपणान ▁पोरन्या ▁काळांत ले ▁अरब स्त ान , ▁पर िस िया , ▁मे सो पो ट ेम िया , ▁सिर िया , ▁पॅ ले स्ट ायन , ▁उत्तर ▁आफ्रिका ▁आनी ▁आंद ाल ू झ ी या ▁( मु स् लीम ▁स्पेन ) ▁ह ् ▁हांगा ▁त रांत र ांच्या ▁प्राण ्य ांच्यो ▁विंगड ▁विंगड ▁जाती ▁दिसून ▁येतात . ▁व्हडल्या ▁मांस ▁खाव पी ▁प्राण ्यां मदीं ▁वां स् वेल , ▁भ ाल ू , ▁प ्यु मा , ▁रान माज र , ▁कोळ सु ंदा , ▁( t . and ers ) ▁ति ब ेरी व स ▁सं राज ाचे ▁राज ्व टक ेच्या ▁प ंद्र ाव्या ▁वर्सा ▁प न्स ▁पिल ात ▁ज ुद े इ य ाचो ▁राज पाल , ▁हेर द ▁ग ाल िले इ य ाचो ▁उप राज ा , ▁आनी ▁ल िज ान िया ▁आ बि ले न ेचो ▁उप राज ा ▁आसताना , |
| 25000 | ▁अरबी ▁कले च्या ▁वाट ारांत ▁सादारणपणान ▁पोरन्या ▁काळांतले ▁अरब स्तान , ▁पर िस िया , ▁मे सो पोट ेम िया , ▁सिरिया , ▁पॅ ले स्टायन , ▁उत्तर ▁आफ्रिका ▁आनी ▁आंद ाल ू झी या ▁( मु स् लीम ▁स्पेन ) ▁ह ् ▁हांगा ▁तरांतर ांच्या ▁प्राण ्यांच्यो ▁विंगड ▁विंगड ▁जाती ▁दिसून ▁येतात . ▁व्हडल्या ▁मांस ▁खाव पी ▁प्राण ्यांमदीं ▁वांस्वेल , ▁भ ाल ू , ▁प ्यु मा , ▁रान माज र , ▁कोळ सु ंदा , ▁( t . and ers ) ▁ति ब ेरी व स ▁सं राज ाचे ▁राज ्व टक ेच्या ▁प ंद्र ाव्या ▁वर्सा ▁प न्स ▁पिलात ▁जुद े इ याचो ▁राज पाल , ▁हेर द ▁गाल िले इ याचो ▁उप राजा , ▁आनी ▁ल िज ान िया ▁आ बि लेन ेचो ▁उप राजा ▁आसताना , |
| 50000 | ▁अरबी ▁कलेच्या ▁वाटारांत ▁सादारणपणान ▁पोरन्या ▁काळांतले ▁अरबस्तान , ▁परिस िया , ▁मे सोपोटेमिया , ▁सिरिया , ▁पॅलेस्टायन , ▁उत्तर ▁आफ्रिका ▁आनी ▁आंद ाल ू झी या ▁( मुस्लीम ▁स्पेन ) ▁ह् ▁हांगा ▁तरांतर ांच्या ▁प्राण ्यांच्यो ▁विंगड ▁विंगड ▁जाती ▁दिसून ▁येतात . ▁व्हडल्या ▁मांस ▁खावपी ▁प्राण ्यांमदीं ▁वांस्वेल , ▁भाल ू , ▁प ्यु मा , ▁रानमाज र , ▁कोळ सु ंदा , ▁( t . and ers ) ▁ति बेरी वस ▁सं राज ाचे ▁राज्व टक ेच्या ▁पंद्र ाव्या ▁वर्सा ▁प न्स ▁पिलात ▁जुद ेइ याचो ▁राजपाल , ▁हेर द ▁गालिलेइ याचो ▁उप राजा , ▁आनी ▁लिज ान िया ▁आ बि लेन ेचो ▁उप राजा ▁आसताना , |
| 100000 | ▁अरबी ▁कलेच्या ▁वाटारांत ▁सादारणपणान ▁पोरन्या ▁काळांतले ▁अरबस्तान , ▁परिस िया , ▁मे सोपोटेमिया , ▁सिरिया , ▁पॅलेस्टायन , ▁उत्तर ▁आफ्रिका ▁आनी ▁आंद ालू झी या ▁( मुस्लीम ▁स्पेन ) ▁ह् ▁हांगा ▁तरांतर ांच्या ▁प्राण ्यांच्यो ▁विंगड ▁विंगड ▁जाती ▁दिसून ▁येतात . ▁व्हडल्या ▁मांस ▁खावपी ▁प्राण ्यांमदीं ▁वांस्वेल , ▁भालू , ▁प्युमा , ▁रानमाजर , ▁कोळ सु ंदा , ▁( t . and ers ) ▁ति बेरीवस ▁सं राजाचे ▁राज्व टकेच्या ▁पंद्र ाव्या ▁वर्सा ▁पन्स ▁पिलात ▁जुदेइ याचो ▁राजपाल , ▁हेरद ▁गालिलेइ याचो ▁उपराजा , ▁आनी ▁लिज ानिया ▁आबि लेनेचो ▁उपराजा ▁आसताना , |