Sindhi (sd) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
10000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
25000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizesdwiki sample
original استاد جي وفات کان پوءِ ٻارهن جلدن تي مشتمل هڪ ضخيم ڪتاب عربي زبان ۾ قلمبند ڪيائين، جيڪو ”ڪتاب الطبقات الڪبير“ جي نالي پڌرو آهي. هن ڪتاب ۾ ٻنهي جهانن ج
جڏهن سندس والد وزير خارجه بڻيو، تڏهن سندس مقبوليت ۾ گهڻو اضافو ٿيو ۽ ان وقت جي ڪابينا ۾ عمر ۾ ننڍي ۾ ننڍو وزير هئڻ جي باوجود گهڻن تي ڀاري هو. 0000ع ۾
اچي ٿيا ، اتي کين نفساتي خواهش ٿي ، ته کين اُٺن ۽ گهوڙن جي هلڻ ۽ ذڪر ڪلمي جي تنوار ٻڌڻ ۾ آئي ، جي سڌا پاڻ ڏانهن پي آيا ، ۽ اهو آواز ٻڌائون ته مخدوم ام
1000 ▁است اد ▁جي ▁وفات ▁کان ▁پوء ِ ▁ٻ ار هن ▁ج ل دن ▁تي ▁مش ت مل ▁هڪ ▁ض خ يم ▁ڪتاب ▁عر بي ▁ز بان ▁۾ ▁ق لم ب ند ▁ڪيائين ، ▁جيڪو ▁” ڪ ت اب ▁ال ط ب ق ات ▁ال ڪ ب ير “ ▁جي ▁نالي ▁پ ڌ رو ▁آهي . ▁هن ▁ڪتاب ▁۾ ▁ٻن هي ▁جه انن ▁ج
▁جڏهن ▁سندس ▁وال د ▁وزير ▁خ ار جه ▁بڻ يو ، ▁ت ڏهن ▁سندس ▁مق ب ولي ت ▁۾ ▁گهڻو ▁ا ض اف و ▁ٿيو ▁۽ ▁ان ▁وقت ▁جي ▁ڪ اب ين ا ▁۾ ▁عمر ▁۾ ▁ننڍ ي ▁۾ ▁ننڍ و ▁وزير ▁هئ ڻ ▁جي ▁ب او جود ▁گهڻ ن ▁تي ▁ڀ اري ▁هو . ▁0000 ع ▁۾
▁اچي ▁ٿيا ▁، ▁ا تي ▁ک ين ▁ن ف س اتي ▁خو اه ش ▁ٿي ▁، ▁ته ▁ک ين ▁ا ُ ٺ ن ▁۽ ▁گ هو ڙن ▁جي ▁هل ڻ ▁۽ ▁ذ ڪر ▁ڪ لم ي ▁جي ▁تن و ار ▁ٻڌ ڻ ▁۾ ▁آ ئي ▁، ▁جي ▁س ڌ ا ▁پاڻ ▁ڏ انهن ▁پي ▁آ يا ▁، ▁۽ ▁اهو ▁آ و از ▁ٻڌ ائون ▁ته ▁مخ د وم ▁ام
3000 ▁استاد ▁جي ▁وفات ▁کان ▁پوء ِ ▁ٻار هن ▁جل دن ▁تي ▁مشتمل ▁هڪ ▁ض خ يم ▁ڪتاب ▁عربي ▁زبان ▁۾ ▁قلم بند ▁ڪيائين ، ▁جيڪو ▁” ڪت اب ▁ال ط ب قات ▁ال ڪ بير “ ▁جي ▁نالي ▁پڌرو ▁آهي . ▁هن ▁ڪتاب ▁۾ ▁ٻنهي ▁جه انن ▁ج
▁جڏهن ▁سندس ▁والد ▁وزير ▁خ ار جه ▁بڻ يو ، ▁تڏهن ▁سندس ▁مقب ولي ت ▁۾ ▁گهڻو ▁ا ض اف و ▁ٿيو ▁۽ ▁ان ▁وقت ▁جي ▁ڪ اب ين ا ▁۾ ▁عمر ▁۾ ▁ننڍي ▁۾ ▁ننڍو ▁وزير ▁هئڻ ▁جي ▁باوجود ▁گهڻ ن ▁تي ▁ڀ اري ▁هو . ▁0000 ع ▁۾
▁اچي ▁ٿيا ▁، ▁اتي ▁کين ▁نفس اتي ▁خو اه ش ▁ٿي ▁، ▁ته ▁کين ▁ا ُ ٺ ن ▁۽ ▁گهو ڙن ▁جي ▁هل ڻ ▁۽ ▁ذڪر ▁ڪ لم ي ▁جي ▁تن وار ▁ٻڌ ڻ ▁۾ ▁آئي ▁، ▁جي ▁سڌ ا ▁پاڻ ▁ڏانهن ▁پي ▁آيا ▁، ▁۽ ▁اهو ▁آواز ▁ٻڌ ائون ▁ته ▁مخدوم ▁ام
5000 ▁استاد ▁جي ▁وفات ▁کان ▁پوء ِ ▁ٻار هن ▁جل دن ▁تي ▁مشتمل ▁هڪ ▁ض خ يم ▁ڪتاب ▁عربي ▁زبان ▁۾ ▁قلم بند ▁ڪيائين ، ▁جيڪو ▁” ڪتاب ▁الط ب قات ▁ال ڪ بير “ ▁جي ▁نالي ▁پڌرو ▁آهي . ▁هن ▁ڪتاب ▁۾ ▁ٻنهي ▁جه انن ▁ج
▁جڏهن ▁سندس ▁والد ▁وزير ▁خ ار جه ▁بڻيو ، ▁تڏهن ▁سندس ▁مقبوليت ▁۾ ▁گهڻو ▁اضافو ▁ٿيو ▁۽ ▁ان ▁وقت ▁جي ▁ڪاب ينا ▁۾ ▁عمر ▁۾ ▁ننڍي ▁۾ ▁ننڍو ▁وزير ▁هئڻ ▁جي ▁باوجود ▁گهڻن ▁تي ▁ڀ اري ▁هو . ▁0000 ع ▁۾
▁اچي ▁ٿيا ▁، ▁اتي ▁کين ▁نفس اتي ▁خواهش ▁ٿي ▁، ▁ته ▁کين ▁ا ُ ٺن ▁۽ ▁گهو ڙن ▁جي ▁هلڻ ▁۽ ▁ذڪر ▁ڪ لم ي ▁جي ▁تن وار ▁ٻڌڻ ▁۾ ▁آئي ▁، ▁جي ▁سڌ ا ▁پاڻ ▁ڏانهن ▁پي ▁آيا ▁، ▁۽ ▁اهو ▁آواز ▁ٻڌ ائون ▁ته ▁مخدوم ▁ام
10000 ▁استاد ▁جي ▁وفات ▁کان ▁پوء ِ ▁ٻارهن ▁جلدن ▁تي ▁مشتمل ▁هڪ ▁ض خ يم ▁ڪتاب ▁عربي ▁زبان ▁۾ ▁قلمبند ▁ڪيائين ، ▁جيڪو ▁” ڪتاب ▁الط ب قات ▁الڪ بير “ ▁جي ▁نالي ▁پڌرو ▁آهي . ▁هن ▁ڪتاب ▁۾ ▁ٻنهي ▁جه انن ▁ج
▁جڏهن ▁سندس ▁والد ▁وزير ▁خار جه ▁بڻيو ، ▁تڏهن ▁سندس ▁مقبوليت ▁۾ ▁گهڻو ▁اضافو ▁ٿيو ▁۽ ▁ان ▁وقت ▁جي ▁ڪابينا ▁۾ ▁عمر ▁۾ ▁ننڍي ▁۾ ▁ننڍو ▁وزير ▁هئڻ ▁جي ▁باوجود ▁گهڻن ▁تي ▁ڀ اري ▁هو . ▁0000 ع ▁۾
▁اچي ▁ٿيا ▁، ▁اتي ▁کين ▁نفس اتي ▁خواهش ▁ٿي ▁، ▁ته ▁کين ▁ا ُ ٺن ▁۽ ▁گهوڙن ▁جي ▁هلڻ ▁۽ ▁ذڪر ▁ڪلم ي ▁جي ▁تن وار ▁ٻڌڻ ▁۾ ▁آئي ▁، ▁جي ▁سڌ ا ▁پاڻ ▁ڏانهن ▁پي ▁آيا ▁، ▁۽ ▁اهو ▁آواز ▁ٻڌ ائون ▁ته ▁مخدوم ▁ام
25000 ▁استاد ▁جي ▁وفات ▁کان ▁پوء ِ ▁ٻارهن ▁جلدن ▁تي ▁مشتمل ▁هڪ ▁ضخيم ▁ڪتاب ▁عربي ▁زبان ▁۾ ▁قلمبند ▁ڪيائين ، ▁جيڪو ▁” ڪتاب ▁الط ب قات ▁الڪبير “ ▁جي ▁نالي ▁پڌرو ▁آهي . ▁هن ▁ڪتاب ▁۾ ▁ٻنهي ▁جه انن ▁ج
▁جڏهن ▁سندس ▁والد ▁وزير ▁خارجه ▁بڻيو ، ▁تڏهن ▁سندس ▁مقبوليت ▁۾ ▁گهڻو ▁اضافو ▁ٿيو ▁۽ ▁ان ▁وقت ▁جي ▁ڪابينا ▁۾ ▁عمر ▁۾ ▁ننڍي ▁۾ ▁ننڍو ▁وزير ▁هئڻ ▁جي ▁باوجود ▁گهڻن ▁تي ▁ڀ اري ▁هو . ▁0000 ع ▁۾
▁اچي ▁ٿيا ▁، ▁اتي ▁کين ▁نفس اتي ▁خواهش ▁ٿي ▁، ▁ته ▁کين ▁ا ُ ٺن ▁۽ ▁گهوڙن ▁جي ▁هلڻ ▁۽ ▁ذڪر ▁ڪلمي ▁جي ▁تنوار ▁ٻڌڻ ▁۾ ▁آئي ▁، ▁جي ▁سڌا ▁پاڻ ▁ڏانهن ▁پي ▁آيا ▁، ▁۽ ▁اهو ▁آواز ▁ٻڌائون ▁ته ▁مخدوم ▁ام