Pushto (ps) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | pswiki sample |
|---|---|
| original | شهيد امان الله سيلاب "ساپی" د خدای بخښلي وکيل صاحب شهيد نصرالله خان "ساپي" زوى او دمرحوم مفتي عبدالغفور خان لمسى په 0000هـ ش کال د ننگرهار ولايت د کام د اګيست په مياشت كښې كتارونه بايد 00-00 انچوپورې دي او بوټي بايد 0-0 انچو پورې يو له بل څخه لرې وي. حلقوي تيراسونه هغه وخت پكار وړل كيداى شي كله چې فا د افغان-روس په جگړه کې هغه د مجاهدينو پر وړاندې جنگ کړی چې همداراز يې په ۱۹۸۸ کال کې د جلال آباد په جگړه کې خپله پښه له لاسه ورکړې. |
| 1000 | ▁شه ي د ▁ام ان ▁الله ▁سي لا ب ▁" س اپ ی " ▁د ▁خ د ای ▁ب خ ښ لي ▁و کي ل ▁ص اح ب ▁شه ي د ▁ن صر ال له ▁خان ▁" س اپ ي " ▁ز و ى ▁او ▁دم ر ح وم ▁م ف تي ▁عبدال غ ف ور ▁خان ▁لم س ى ▁په ▁0000 ه ـ ▁ش ▁کال ▁د ▁ن نگ ره ار ▁ولايت ▁د ▁ک ام ▁د ▁ا ګ ي ست ▁په ▁م يا شت ▁ك ښې ▁ك ت ار ونه ▁بايد ▁00 - 00 ▁ان چ و پ ورې ▁دي ▁او ▁بوټ ي ▁بايد ▁0 - 0 ▁ان چ و ▁پورې ▁يو ▁له ▁بل ▁څخه ▁ل رې ▁وي . ▁ح ل ق وي ▁ت ير اس ونه ▁هغه ▁وخت ▁پ ك ار ▁وړ ل ▁كي دا ى ▁شي ▁ك له ▁چې ▁ف ا ▁د ▁افغان - رو س ▁په ▁جگ ړه ▁کې ▁هغه ▁د ▁مج اه د ينو ▁پر ▁وړاندې ▁ج نگ ▁کړی ▁چې ▁هم دار از ▁يې ▁په ▁0000 ▁کال ▁کې ▁د ▁ج ل ال ▁آ ب اد ▁په ▁جگ ړه ▁کې ▁خپله ▁پ ښه ▁له ▁لاس ه ▁ورک ړې . |
| 3000 | ▁شه يد ▁ام ان ▁الله ▁سي لاب ▁" س اپ ی " ▁د ▁خدای ▁بخ ښ لي ▁و کي ل ▁صاحب ▁شه يد ▁ن صر الله ▁خان ▁" س اپي " ▁زوى ▁او ▁دم ر ح وم ▁مف تي ▁عبدال غ ف ور ▁خان ▁لم س ى ▁په ▁0000 ه ـ ▁ش ▁کال ▁د ▁ننگرهار ▁ولايت ▁د ▁ک ام ▁د ▁ا ګ ي ست ▁په ▁مياشت ▁ك ښې ▁كت ار ونه ▁بايد ▁00 -00 ▁ان چ و پ ورې ▁دي ▁او ▁بوټي ▁بايد ▁0 -0 ▁ان چ و ▁پورې ▁يو ▁له ▁بل ▁څخه ▁لرې ▁وي . ▁حل ق وي ▁ت ير اس ونه ▁هغه ▁وخت ▁پ ك ار ▁وړ ل ▁كي داى ▁شي ▁كله ▁چې ▁ف ا ▁د ▁افغان - روس ▁په ▁جگړه ▁کې ▁هغه ▁د ▁مجاه د ينو ▁پر ▁وړاندې ▁جنگ ▁کړی ▁چې ▁همداراز ▁يې ▁په ▁0000 ▁کال ▁کې ▁د ▁جلال ▁آباد ▁په ▁جگړه ▁کې ▁خپله ▁پ ښه ▁له ▁لاسه ▁ورک ړې . |
| 5000 | ▁شهيد ▁امان ▁الله ▁سي لاب ▁" س اپ ی " ▁د ▁خدای ▁بخ ښ لي ▁و کي ل ▁صاحب ▁شهيد ▁نصر الله ▁خان ▁" س اپي " ▁زوى ▁او ▁دم رح وم ▁مف تي ▁عبدال غ فور ▁خان ▁لم س ى ▁په ▁0000 ه ـ ▁ش ▁کال ▁د ▁ننگرهار ▁ولايت ▁د ▁کام ▁د ▁ا ګ ي ست ▁په ▁مياشت ▁كښې ▁كت ارونه ▁بايد ▁00 -00 ▁ان چو پ ورې ▁دي ▁او ▁بوټي ▁بايد ▁0 -0 ▁ان چو ▁پورې ▁يو ▁له ▁بل ▁څخه ▁لرې ▁وي . ▁حل ق وي ▁تير اس ونه ▁هغه ▁وخت ▁پك ار ▁وړل ▁كي داى ▁شي ▁كله ▁چې ▁فا ▁د ▁افغان - روس ▁په ▁جگړه ▁کې ▁هغه ▁د ▁مجاهد ينو ▁پر ▁وړاندې ▁جنگ ▁کړی ▁چې ▁همداراز ▁يې ▁په ▁0000 ▁کال ▁کې ▁د ▁جلال ▁آباد ▁په ▁جگړه ▁کې ▁خپله ▁پ ښه ▁له ▁لاسه ▁ورکړې . |
| 10000 | ▁شهيد ▁امان ▁الله ▁سي لاب ▁" س اپ ی " ▁د ▁خدای ▁بخښ لي ▁و کيل ▁صاحب ▁شهيد ▁نصرالله ▁خان ▁" س اپي " ▁زوى ▁او ▁دم رح وم ▁مف تي ▁عبدالغ فور ▁خان ▁لم سى ▁په ▁0000 ه ـ ▁ش ▁کال ▁د ▁ننگرهار ▁ولايت ▁د ▁کام ▁د ▁ا ګي ست ▁په ▁مياشت ▁كښې ▁كت ارونه ▁بايد ▁00 -00 ▁ان چو پ ورې ▁دي ▁او ▁بوټي ▁بايد ▁0 -0 ▁ان چو ▁پورې ▁يو ▁له ▁بل ▁څخه ▁لرې ▁وي . ▁حل ق وي ▁تير اس ونه ▁هغه ▁وخت ▁پك ار ▁وړل ▁كي داى ▁شي ▁كله ▁چې ▁فا ▁د ▁افغان - روس ▁په ▁جگړه ▁کې ▁هغه ▁د ▁مجاهدينو ▁پر ▁وړاندې ▁جنگ ▁کړی ▁چې ▁همداراز ▁يې ▁په ▁0000 ▁کال ▁کې ▁د ▁جلال ▁آباد ▁په ▁جگړه ▁کې ▁خپله ▁پښه ▁له ▁لاسه ▁ورکړې . |
| 25000 | ▁شهيد ▁امان ▁الله ▁سيلاب ▁" س اپی " ▁د ▁خدای ▁بخښ لي ▁وکيل ▁صاحب ▁شهيد ▁نصرالله ▁خان ▁" س اپي " ▁زوى ▁او ▁دم رح وم ▁مفتي ▁عبدالغفور ▁خان ▁لمسى ▁په ▁0000 ه ـ ▁ش ▁کال ▁د ▁ننگرهار ▁ولايت ▁د ▁کام ▁د ▁ا ګي ست ▁په ▁مياشت ▁كښې ▁كت ارونه ▁بايد ▁00-00 ▁انچو پورې ▁دي ▁او ▁بوټي ▁بايد ▁0-0 ▁انچو ▁پورې ▁يو ▁له ▁بل ▁څخه ▁لرې ▁وي . ▁حلقوي ▁تير اس ونه ▁هغه ▁وخت ▁پكار ▁وړل ▁كيداى ▁شي ▁كله ▁چې ▁فا ▁د ▁افغان - روس ▁په ▁جگړه ▁کې ▁هغه ▁د ▁مجاهدينو ▁پر ▁وړاندې ▁جنگ ▁کړی ▁چې ▁همداراز ▁يې ▁په ▁0000 ▁کال ▁کې ▁د ▁جلال ▁آباد ▁په ▁جگړه ▁کې ▁خپله ▁پښه ▁له ▁لاسه ▁ورکړې . |
| 50000 | ▁شهيد ▁امان ▁الله ▁سيلاب ▁" ساپی " ▁د ▁خدای ▁بخښلي ▁وکيل ▁صاحب ▁شهيد ▁نصرالله ▁خان ▁" س اپي " ▁زوى ▁او ▁دمرحوم ▁مفتي ▁عبدالغفور ▁خان ▁لمسى ▁په ▁0000 ه ـ ▁ش ▁کال ▁د ▁ننگرهار ▁ولايت ▁د ▁کام ▁د ▁ا ګي ست ▁په ▁مياشت ▁كښې ▁كت ارونه ▁بايد ▁00-00 ▁انچو پورې ▁دي ▁او ▁بوټي ▁بايد ▁0-0 ▁انچو ▁پورې ▁يو ▁له ▁بل ▁څخه ▁لرې ▁وي . ▁حلقوي ▁تيراس ونه ▁هغه ▁وخت ▁پكار ▁وړل ▁كيداى ▁شي ▁كله ▁چې ▁فا ▁د ▁افغان - روس ▁په ▁جگړه ▁کې ▁هغه ▁د ▁مجاهدينو ▁پر ▁وړاندې ▁جنگ ▁کړی ▁چې ▁همداراز ▁يې ▁په ▁0000 ▁کال ▁کې ▁د ▁جلال ▁آباد ▁په ▁جگړه ▁کې ▁خپله ▁پښه ▁له ▁لاسه ▁ورکړې . |