Yakut (sah) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | sahwiki sample |
|---|---|
| original | атырдьах ыйын 00 0000 сыллаахха төрөөбүт (ахш, индиана, гэри), өлбүт күнэ бэс ыйын 00 күнэ 0000 сылга (лос-анджелес, ахш). сэттис оҕонон төрөөбүт. аан хнт-га үгэс буолбутунан азияҕа дьоппуон, хоту америкаҕа канаада уонна ахш, океанияҕа австралия уонна саҥа зеландияны уонна европаны сайдыбыт дойдулары өрүс ардах уонна хаар уутунан "аһылыктанар" . орто уу ороскуода секундаҕа 000 куб. м. алтынньы саҥатыгар муус турар. мууһа ыам ыйын ортотугар, бүтэһиг |
| 1000 | ▁ат ыр дь ах ▁ыйын ▁00 ▁0000 ▁сыллаахха ▁төрөөбүт ▁( ах ш , ▁ин ди ана , ▁ гэр и ), ▁өлбүт ▁күн э ▁бэ с ▁ыйын ▁00 ▁күн э ▁0000 ▁сыл га ▁( л ос - ан д ж ел е с , ▁ ах ш ). ▁с эт т ис ▁оҕ он он ▁төрөөбүт . ▁аан ▁х н т - га ▁үгэ с ▁буолбут унан ▁а з ияҕа ▁дьо пп уон , ▁хоту ▁ам ер ик аҕа ▁к ан аа да ▁уонна ▁ ах ш , ▁о к е ан ияҕа ▁а в ст р ал ия ▁уонна ▁саҥа ▁з ел ан д ия ны ▁уонна ▁ ев р оп аны ▁сайд ыбыт ▁дойду лар ы ▁өр үс ▁ар д ах ▁уонна ▁х аар ▁уу т унан ▁" аһ ыл ык танар " ▁ . ▁орто ▁уу ▁ор о ск уо да ▁с ек ун д аҕа ▁000 ▁к уб . ▁м . ▁ал тын ньы ▁саҥ атыгар ▁м уус ▁тур ар . ▁м уу һа ▁ы ам ▁ыйын ▁ор т от угар , ▁бүт э һи г |
| 3000 | ▁атырдьах ▁ыйын ▁00 ▁0000 ▁сыллаахха ▁төрөөбүт ▁( ах ш , ▁ин ди ана , ▁ гэр и ), ▁өлбүт ▁күнэ ▁бэс ▁ыйын ▁00 ▁күнэ ▁0000 ▁сылга ▁( л ос - анд ж ел ес , ▁ахш ). ▁сэт т ис ▁оҕ он он ▁төрөөбүт . ▁аан ▁х н т - га ▁үгэс ▁буолбут унан ▁аз ияҕа ▁дьоппуон , ▁хоту ▁амер икаҕа ▁кан аада ▁уонна ▁ахш , ▁ок е ан ияҕа ▁ав стр алия ▁уонна ▁саҥа ▁з ел анд ияны ▁уонна ▁европ аны ▁сайд ыбыт ▁дойдулар ы ▁өрүс ▁ард ах ▁уонна ▁хаар ▁уу т унан ▁" аһ ылык танар " ▁. ▁орто ▁уу ▁ор оск уо да ▁сек ун д аҕа ▁000 ▁куб . ▁м . ▁алтынньы ▁саҥ атыгар ▁муус ▁турар . ▁м уу һа ▁ыам ▁ыйын ▁ортот угар , ▁бүт эһи г |
| 5000 | ▁атырдьах ▁ыйын ▁00 ▁0000 ▁сыллаахха ▁төрөөбүт ▁( ах ш , ▁ин ди ана , ▁ гэр и ), ▁өлбүт ▁күнэ ▁бэс ▁ыйын ▁00 ▁күнэ ▁0000 ▁сылга ▁( л ос - анд ж ел ес , ▁ахш ). ▁сэт т ис ▁оҕ онон ▁төрөөбүт . ▁аан ▁х н т - га ▁үгэс ▁буолбут унан ▁аз ияҕа ▁дьоппуон , ▁хоту ▁амер икаҕа ▁кан аада ▁уонна ▁ахш , ▁оке ан ияҕа ▁австр алия ▁уонна ▁саҥа ▁з ел анд ияны ▁уонна ▁европ аны ▁сайдыбыт ▁дойдулар ы ▁өрүс ▁ард ах ▁уонна ▁хаар ▁уу т унан ▁" аһ ылык танар " ▁. ▁орто ▁уу ▁ор оск уо да ▁сек ун д аҕа ▁000 ▁куб . ▁м . ▁алтынньы ▁саҥ атыгар ▁муус ▁турар . ▁муу һа ▁ыам ▁ыйын ▁ортотугар , ▁бүт эһи г |
| 10000 | ▁атырдьах ▁ыйын ▁00 ▁0000 ▁сыллаахха ▁төрөөбүт ▁( ахш , ▁инди ана , ▁ гэр и ), ▁өлбүт ▁күнэ ▁бэс ▁ыйын ▁00 ▁күнэ ▁0000 ▁сылга ▁( л ос - анд жел ес , ▁ахш ). ▁сэт тис ▁оҕ онон ▁төрөөбүт . ▁аан ▁хнт - га ▁үгэс ▁буолбут унан ▁азияҕа ▁дьоппуон , ▁хоту ▁америкаҕа ▁канаада ▁уонна ▁ахш , ▁океан ияҕа ▁австр алия ▁уонна ▁саҥа ▁зел анд ияны ▁уонна ▁европ аны ▁сайдыбыт ▁дойдулар ы ▁өрүс ▁ардах ▁уонна ▁хаар ▁уу т унан ▁" аһ ылык танар " ▁. ▁орто ▁уу ▁ороск уо да ▁сек ун д аҕа ▁000 ▁куб . ▁м . ▁алтынньы ▁саҥатыгар ▁муус ▁турар . ▁муу һа ▁ыам ▁ыйын ▁ортотугар , ▁бүт эһи г |
| 25000 | ▁атырдьах ▁ыйын ▁00 ▁0000 ▁сыллаахха ▁төрөөбүт ▁( ахш , ▁инди ана , ▁ гэр и ), ▁өлбүт ▁күнэ ▁бэс ▁ыйын ▁00 ▁күнэ ▁0000 ▁сылга ▁( л ос - анджел ес , ▁ахш ). ▁сэттис ▁оҕонон ▁төрөөбүт . ▁аан ▁хнт - га ▁үгэс ▁буолбут унан ▁азияҕа ▁дьоппуон , ▁хоту ▁америкаҕа ▁канаада ▁уонна ▁ахш , ▁океан ияҕа ▁австралия ▁уонна ▁саҥа ▁зел анд ияны ▁уонна ▁европаны ▁сайдыбыт ▁дойдулары ▁өрүс ▁ардах ▁уонна ▁хаар ▁уут унан ▁" аһ ылык танар " ▁. ▁орто ▁уу ▁ороск уо да ▁сек унд аҕа ▁000 ▁куб . ▁м . ▁алтынньы ▁саҥатыгар ▁муус ▁турар . ▁мууһа ▁ыам ▁ыйын ▁ортотугар , ▁бүт эһи г |
| 50000 | ▁атырдьах ▁ыйын ▁00 ▁0000 ▁сыллаахха ▁төрөөбүт ▁( ахш , ▁индиана , ▁гэр и ), ▁өлбүт ▁күнэ ▁бэс ▁ыйын ▁00 ▁күнэ ▁0000 ▁сылга ▁( лос - анджелес , ▁ахш ). ▁сэттис ▁оҕонон ▁төрөөбүт . ▁аан ▁хнт - га ▁үгэс ▁буолбутунан ▁азияҕа ▁дьоппуон , ▁хоту ▁америкаҕа ▁канаада ▁уонна ▁ахш , ▁океан ияҕа ▁австралия ▁уонна ▁саҥа ▁зеланд ияны ▁уонна ▁европаны ▁сайдыбыт ▁дойдулары ▁өрүс ▁ардах ▁уонна ▁хаар ▁уутунан ▁" аһылык танар " ▁. ▁орто ▁уу ▁ороск уода ▁секунд аҕа ▁000 ▁куб . ▁м . ▁алтынньы ▁саҥатыгар ▁муус ▁турар . ▁мууһа ▁ыам ▁ыйын ▁ортотугар , ▁бүтэһи г |