Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizepawiki sample
original ਦੱਖਣੀ ਏਸ਼ੀਆ ਤੋਂ ਬਾਹਰ ਉਰਦੂ ਜ਼ਬਾਨ ਫਾਰਸ ਦੀ ਖਾੜੀ ਅਤੇ ਸਊਦੀ ਅਰਬ ਵਿੱਚ ਦੱਖਣੀ ਏਸ਼ੀਆਈ ਮਜ਼ਦੂਰ ਮੁਹਾਜਿਰ ਬੋਲਦੇ ਹਨ। ਇਹ ਜ਼ਬਾਨ ਬਰਤਾਨੀਆ , ਅਮਰੀਕਾ, ਕੈਨੇਡਾ, ਜਰਮਨੀ, ਨਾਰਵੇ ਅ
00ਵੀਂ ਸਦੀ ਦੇ ਅੰਤਲੇ ਸਾਲਾਂ ਵਿੱਚ ਪੰਜਾਬ ਵਿੱਚ ਰਣਜੀਤ ਸਿੰਘ ਦੇ ਉਭਾਰ ਕਾਰਨ ਫੂਲਕੀਆਂ ਰਿਆਸਤਾਂ ਦੇ ਹਾਕਮ ਬਹੁਤ ਚਿੰਤਿਤ ਹੋ ਉੱਠੇ। ਪਟਿਆਲਾ ਦੇ ਰਾਜੇ ਨੇ 0000 ਵਿੱਚ ਅੰਗਰੇਜ਼ਾਂ ਨਾ
00 ਅਗਸਤ ਗ੍ਰੈਗਰੀ ਕਲੰਡਰ ਦੇ ਮੁਤਾਬਕ ਇਹ ਸਾਲ ਦਾ 000ਵਾਂ (ਲੀਪ ਸਾਲ ਵਿੱਚ 000ਵਾਂ) ਦਿਨ ਹੁੰਦਾ ਹੈ। ਇਸ ਦਿਨ ਤੋਂ ਸਾਲ ਦੇ 000 ਦਿਨ ਬਾਕੀ ਹਨ।
1000 ▁ਦੱਖ ਣੀ ▁ਏ ਸ਼ੀ ਆ ▁ਤੋਂ ▁ਬਾ ਹਰ ▁ਉ ਰ ਦ ੂ ▁ਜ਼ ਬ ਾਨ ▁ਫ ਾਰ ਸ ▁ਦੀ ▁ਖ ਾ ੜੀ ▁ਅਤੇ ▁ਸ ਊ ਦੀ ▁ਅਰ ਬ ▁ਵਿੱਚ ▁ਦੱਖ ਣੀ ▁ਏ ਸ਼ੀ ਆ ਈ ▁ਮ ਜ਼ ਦ ੂਰ ▁ਮੁ ਹਾ ਜ ਿਰ ▁ਬ ੋਲ ਦੇ ▁ਹਨ । ▁ਇਹ ▁ਜ਼ ਬ ਾਨ ▁ਬਰ ਤਾ ਨੀ ਆ ▁, ▁ਅਮਰੀ ਕਾ , ▁ਕੈ ਨੇ ਡਾ , ▁ਜ ਰਮ ਨੀ , ▁ਨ ਾਰ ਵੇ ▁ਅ
▁00 ਵੀਂ ▁ਸਦੀ ▁ਦੇ ▁ਅੰ ਤ ਲੇ ▁ਸਾਲ ਾਂ ▁ਵਿੱਚ ▁ਪੰਜਾਬ ▁ਵਿੱਚ ▁ਰ ਣ ਜੀ ਤ ▁ਸਿੰਘ ▁ਦੇ ▁ਉ ਭ ਾਰ ▁ਕਾਰਨ ▁ਫ ੂਲ ਕ ੀਆਂ ▁ਰ ਿਆ ਸਤ ਾਂ ▁ਦੇ ▁ਹ ਾ ਕ ਮ ▁ਬਹੁਤ ▁ਚ ਿੰ ਤ ਿਤ ▁ਹੋ ▁ਉੱ ਠ ੇ । ▁ਪ ਟ ਿਆ ਲਾ ▁ਦੇ ▁ਰਾਜ ੇ ▁ਨੇ ▁0000 ▁ਵਿੱਚ ▁ਅੰਗਰੇ ਜ਼ ਾਂ ▁ਨਾ
▁00 ▁ਅਗ ਸਤ ▁ਗ੍ਰ ੈ ਗ ਰੀ ▁ਕਲ ੰਡ ਰ ▁ਦੇ ▁ਮੁ ਤਾਬ ਕ ▁ਇਹ ▁ਸਾਲ ▁ਦਾ ▁000 ਵਾਂ ▁( ਲੀ ਪ ▁ਸਾਲ ▁ਵਿੱਚ ▁000 ਵਾਂ ) ▁ਦਿਨ ▁ਹੁੰਦਾ ▁ਹੈ । ▁ਇਸ ▁ਦਿਨ ▁ਤੋਂ ▁ਸਾਲ ▁ਦੇ ▁000 ▁ਦਿਨ ▁ਬਾ ਕੀ ▁ਹਨ ।
3000 ▁ਦੱਖਣੀ ▁ਏਸ਼ੀਆ ▁ਤੋਂ ▁ਬਾਹਰ ▁ਉਰਦੂ ▁ਜ਼ ਬਾਨ ▁ਫਾਰ ਸ ▁ਦੀ ▁ਖਾ ੜੀ ▁ਅਤੇ ▁ਸ ਊ ਦੀ ▁ਅਰਬ ▁ਵਿੱਚ ▁ਦੱਖਣੀ ▁ਏ ਸ਼ੀਆਈ ▁ਮਜ਼ ਦ ੂਰ ▁ਮੁ ਹਾ ਜ ਿਰ ▁ਬੋਲ ਦੇ ▁ਹਨ । ▁ਇਹ ▁ਜ਼ ਬਾਨ ▁ਬਰ ਤਾ ਨੀਆ ▁, ▁ਅਮਰੀਕਾ , ▁ਕੈਨੇਡਾ , ▁ਜਰਮਨੀ , ▁ਨ ਾਰ ਵੇ ▁ਅ
▁00 ਵੀਂ ▁ਸਦੀ ▁ਦੇ ▁ਅੰਤ ਲੇ ▁ਸਾਲਾਂ ▁ਵਿੱਚ ▁ਪੰਜਾਬ ▁ਵਿੱਚ ▁ਰਣਜੀਤ ▁ਸਿੰਘ ▁ਦੇ ▁ਉ ਭਾਰ ▁ਕਾਰਨ ▁ਫ ੂਲ ਕ ੀਆਂ ▁ਰਿਆਸਤ ਾਂ ▁ਦੇ ▁ਹਾ ਕਮ ▁ਬਹੁਤ ▁ਚਿੰ ਤ ਿਤ ▁ਹੋ ▁ਉੱ ਠੇ । ▁ਪਟਿਆਲਾ ▁ਦੇ ▁ਰਾਜ ੇ ▁ਨੇ ▁0000 ▁ਵਿੱਚ ▁ਅੰਗਰੇ ਜ਼ਾਂ ▁ਨਾ
▁00 ▁ਅਗਸਤ ▁ਗ੍ਰੈ ਗਰੀ ▁ਕਲੰਡਰ ▁ਦੇ ▁ਮੁਤਾਬਕ ▁ਇਹ ▁ਸਾਲ ▁ਦਾ ▁000 ਵਾਂ ▁( ਲੀਪ ▁ਸਾਲ ▁ਵਿੱਚ ▁000 ਵਾਂ ) ▁ਦਿਨ ▁ਹੁੰਦਾ ▁ਹੈ । ▁ਇਸ ▁ਦਿਨ ▁ਤੋਂ ▁ਸਾਲ ▁ਦੇ ▁000 ▁ਦਿਨ ▁ਬਾਕੀ ▁ਹਨ ।
5000 ▁ਦੱਖਣੀ ▁ਏਸ਼ੀਆ ▁ਤੋਂ ▁ਬਾਹਰ ▁ਉਰਦੂ ▁ਜ਼ ਬਾਨ ▁ਫਾਰ ਸ ▁ਦੀ ▁ਖਾੜੀ ▁ਅਤੇ ▁ਸ ਊ ਦੀ ▁ਅਰਬ ▁ਵਿੱਚ ▁ਦੱਖਣੀ ▁ਏਸ਼ੀਆਈ ▁ਮਜ਼ ਦੂਰ ▁ਮੁ ਹਾ ਜ ਿਰ ▁ਬੋਲ ਦੇ ▁ਹਨ । ▁ਇਹ ▁ਜ਼ ਬਾਨ ▁ਬਰਤਾਨੀਆ ▁, ▁ਅਮਰੀਕਾ , ▁ਕੈਨੇਡਾ , ▁ਜਰਮਨੀ , ▁ਨਾਰ ਵੇ ▁ਅ
▁00 ਵੀਂ ▁ਸਦੀ ▁ਦੇ ▁ਅੰਤ ਲੇ ▁ਸਾਲਾਂ ▁ਵਿੱਚ ▁ਪੰਜਾਬ ▁ਵਿੱਚ ▁ਰਣਜੀਤ ▁ਸਿੰਘ ▁ਦੇ ▁ਉ ਭਾਰ ▁ਕਾਰਨ ▁ਫ ੂਲ ਕੀਆਂ ▁ਰਿਆਸਤ ਾਂ ▁ਦੇ ▁ਹਾ ਕਮ ▁ਬਹੁਤ ▁ਚਿੰ ਤ ਿਤ ▁ਹੋ ▁ਉੱ ਠੇ । ▁ਪਟਿਆਲਾ ▁ਦੇ ▁ਰਾਜੇ ▁ਨੇ ▁0000 ▁ਵਿੱਚ ▁ਅੰਗਰੇਜ਼ਾਂ ▁ਨਾ
▁00 ▁ਅਗਸਤ ▁ਗ੍ਰੈਗਰੀ ▁ਕਲੰਡਰ ▁ਦੇ ▁ਮੁਤਾਬਕ ▁ਇਹ ▁ਸਾਲ ▁ਦਾ ▁000 ਵਾਂ ▁( ਲੀਪ ▁ਸਾਲ ▁ਵਿੱਚ ▁000 ਵਾਂ ) ▁ਦਿਨ ▁ਹੁੰਦਾ ▁ਹੈ । ▁ਇਸ ▁ਦਿਨ ▁ਤੋਂ ▁ਸਾਲ ▁ਦੇ ▁000 ▁ਦਿਨ ▁ਬਾਕੀ ▁ਹਨ ।
10000 ▁ਦੱਖਣੀ ▁ਏਸ਼ੀਆ ▁ਤੋਂ ▁ਬਾਹਰ ▁ਉਰਦੂ ▁ਜ਼ਬਾਨ ▁ਫਾਰ ਸ ▁ਦੀ ▁ਖਾੜੀ ▁ਅਤੇ ▁ਸ ਊ ਦੀ ▁ਅਰਬ ▁ਵਿੱਚ ▁ਦੱਖਣੀ ▁ਏਸ਼ੀਆਈ ▁ਮਜ਼ਦੂਰ ▁ਮੁਹਾ ਜ ਿਰ ▁ਬੋਲਦੇ ▁ਹਨ । ▁ਇਹ ▁ਜ਼ਬਾਨ ▁ਬਰਤਾਨੀਆ ▁, ▁ਅਮਰੀਕਾ , ▁ਕੈਨੇਡਾ , ▁ਜਰਮਨੀ , ▁ਨਾਰਵੇ ▁ਅ
▁00 ਵੀਂ ▁ਸਦੀ ▁ਦੇ ▁ਅੰਤ ਲੇ ▁ਸਾਲਾਂ ▁ਵਿੱਚ ▁ਪੰਜਾਬ ▁ਵਿੱਚ ▁ਰਣਜੀਤ ▁ਸਿੰਘ ▁ਦੇ ▁ਉਭਾਰ ▁ਕਾਰਨ ▁ਫੂਲ ਕੀਆਂ ▁ਰਿਆਸਤਾਂ ▁ਦੇ ▁ਹਾਕਮ ▁ਬਹੁਤ ▁ਚਿੰ ਤਿਤ ▁ਹੋ ▁ਉੱ ਠੇ । ▁ਪਟਿਆਲਾ ▁ਦੇ ▁ਰਾਜੇ ▁ਨੇ ▁0000 ▁ਵਿੱਚ ▁ਅੰਗਰੇਜ਼ਾਂ ▁ਨਾ
▁00 ▁ਅਗਸਤ ▁ਗ੍ਰੈਗਰੀ ▁ਕਲੰਡਰ ▁ਦੇ ▁ਮੁਤਾਬਕ ▁ਇਹ ▁ਸਾਲ ▁ਦਾ ▁000 ਵਾਂ ▁( ਲੀਪ ▁ਸਾਲ ▁ਵਿੱਚ ▁000 ਵਾਂ ) ▁ਦਿਨ ▁ਹੁੰਦਾ ▁ਹੈ । ▁ਇਸ ▁ਦਿਨ ▁ਤੋਂ ▁ਸਾਲ ▁ਦੇ ▁000 ▁ਦਿਨ ▁ਬਾਕੀ ▁ਹਨ ।
25000 ▁ਦੱਖਣੀ ▁ਏਸ਼ੀਆ ▁ਤੋਂ ▁ਬਾਹਰ ▁ਉਰਦੂ ▁ਜ਼ਬਾਨ ▁ਫਾਰਸ ▁ਦੀ ▁ਖਾੜੀ ▁ਅਤੇ ▁ਸ ਊ ਦੀ ▁ਅਰਬ ▁ਵਿੱਚ ▁ਦੱਖਣੀ ▁ਏਸ਼ੀਆਈ ▁ਮਜ਼ਦੂਰ ▁ਮੁਹਾ ਜ ਿਰ ▁ਬੋਲਦੇ ▁ਹਨ । ▁ਇਹ ▁ਜ਼ਬਾਨ ▁ਬਰਤਾਨੀਆ ▁, ▁ਅਮਰੀਕਾ , ▁ਕੈਨੇਡਾ , ▁ਜਰਮਨੀ , ▁ਨਾਰਵੇ ▁ਅ
▁00 ਵੀਂ ▁ਸਦੀ ▁ਦੇ ▁ਅੰਤਲੇ ▁ਸਾਲਾਂ ▁ਵਿੱਚ ▁ਪੰਜਾਬ ▁ਵਿੱਚ ▁ਰਣਜੀਤ ▁ਸਿੰਘ ▁ਦੇ ▁ਉਭਾਰ ▁ਕਾਰਨ ▁ਫੂਲ ਕੀਆਂ ▁ਰਿਆਸਤਾਂ ▁ਦੇ ▁ਹਾਕਮ ▁ਬਹੁਤ ▁ਚਿੰ ਤਿਤ ▁ਹੋ ▁ਉੱ ਠੇ । ▁ਪਟਿਆਲਾ ▁ਦੇ ▁ਰਾਜੇ ▁ਨੇ ▁0000 ▁ਵਿੱਚ ▁ਅੰਗਰੇਜ਼ਾਂ ▁ਨਾ
▁00 ▁ਅਗਸਤ ▁ਗ੍ਰੈਗਰੀ ▁ਕਲੰਡਰ ▁ਦੇ ▁ਮੁਤਾਬਕ ▁ਇਹ ▁ਸਾਲ ▁ਦਾ ▁000 ਵਾਂ ▁( ਲੀਪ ▁ਸਾਲ ▁ਵਿੱਚ ▁000 ਵਾਂ ) ▁ਦਿਨ ▁ਹੁੰਦਾ ▁ਹੈ । ▁ਇਸ ▁ਦਿਨ ▁ਤੋਂ ▁ਸਾਲ ▁ਦੇ ▁000 ▁ਦਿਨ ▁ਬਾਕੀ ▁ਹਨ ।
50000 ▁ਦੱਖਣੀ ▁ਏਸ਼ੀਆ ▁ਤੋਂ ▁ਬਾਹਰ ▁ਉਰਦੂ ▁ਜ਼ਬਾਨ ▁ਫਾਰਸ ▁ਦੀ ▁ਖਾੜੀ ▁ਅਤੇ ▁ਸਊਦੀ ▁ਅਰਬ ▁ਵਿੱਚ ▁ਦੱਖਣੀ ▁ਏਸ਼ੀਆਈ ▁ਮਜ਼ਦੂਰ ▁ਮੁਹਾਜ ਿਰ ▁ਬੋਲਦੇ ▁ਹਨ । ▁ਇਹ ▁ਜ਼ਬਾਨ ▁ਬਰਤਾਨੀਆ ▁, ▁ਅਮਰੀਕਾ , ▁ਕੈਨੇਡਾ , ▁ਜਰਮਨੀ , ▁ਨਾਰਵੇ ▁ਅ
▁00 ਵੀਂ ▁ਸਦੀ ▁ਦੇ ▁ਅੰਤਲੇ ▁ਸਾਲਾਂ ▁ਵਿੱਚ ▁ਪੰਜਾਬ ▁ਵਿੱਚ ▁ਰਣਜੀਤ ▁ਸਿੰਘ ▁ਦੇ ▁ਉਭਾਰ ▁ਕਾਰਨ ▁ਫੂਲ ਕੀਆਂ ▁ਰਿਆਸਤਾਂ ▁ਦੇ ▁ਹਾਕਮ ▁ਬਹੁਤ ▁ਚਿੰ ਤਿਤ ▁ਹੋ ▁ਉੱਠੇ । ▁ਪਟਿਆਲਾ ▁ਦੇ ▁ਰਾਜੇ ▁ਨੇ ▁0000 ▁ਵਿੱਚ ▁ਅੰਗਰੇਜ਼ਾਂ ▁ਨਾ
▁00 ▁ਅਗਸਤ ▁ਗ੍ਰੈਗਰੀ ▁ਕਲੰਡਰ ▁ਦੇ ▁ਮੁਤਾਬਕ ▁ਇਹ ▁ਸਾਲ ▁ਦਾ ▁000 ਵਾਂ ▁( ਲੀਪ ▁ਸਾਲ ▁ਵਿੱਚ ▁000 ਵਾਂ ) ▁ਦਿਨ ▁ਹੁੰਦਾ ▁ਹੈ । ▁ਇਸ ▁ਦਿਨ ▁ਤੋਂ ▁ਸਾਲ ▁ਦੇ ▁000 ▁ਦਿਨ ▁ਬਾਕੀ ▁ਹਨ ।
100000 ▁ਦੱਖਣੀ ▁ਏਸ਼ੀਆ ▁ਤੋਂ ▁ਬਾਹਰ ▁ਉਰਦੂ ▁ਜ਼ਬਾਨ ▁ਫਾਰਸ ▁ਦੀ ▁ਖਾੜੀ ▁ਅਤੇ ▁ਸਊਦੀ ▁ਅਰਬ ▁ਵਿੱਚ ▁ਦੱਖਣੀ ▁ਏਸ਼ੀਆਈ ▁ਮਜ਼ਦੂਰ ▁ਮੁਹਾਜਿਰ ▁ਬੋਲਦੇ ▁ਹਨ । ▁ਇਹ ▁ਜ਼ਬਾਨ ▁ਬਰਤਾਨੀਆ ▁, ▁ਅਮਰੀਕਾ , ▁ਕੈਨੇਡਾ , ▁ਜਰਮਨੀ , ▁ਨਾਰਵੇ ▁ਅ
▁00 ਵੀਂ ▁ਸਦੀ ▁ਦੇ ▁ਅੰਤਲੇ ▁ਸਾਲਾਂ ▁ਵਿੱਚ ▁ਪੰਜਾਬ ▁ਵਿੱਚ ▁ਰਣਜੀਤ ▁ਸਿੰਘ ▁ਦੇ ▁ਉਭਾਰ ▁ਕਾਰਨ ▁ਫੂਲਕੀਆਂ ▁ਰਿਆਸਤਾਂ ▁ਦੇ ▁ਹਾਕਮ ▁ਬਹੁਤ ▁ਚਿੰ ਤਿਤ ▁ਹੋ ▁ਉੱਠੇ । ▁ਪਟਿਆਲਾ ▁ਦੇ ▁ਰਾਜੇ ▁ਨੇ ▁0000 ▁ਵਿੱਚ ▁ਅੰਗਰੇਜ਼ਾਂ ▁ਨਾ
▁00 ▁ਅਗਸਤ ▁ਗ੍ਰੈਗਰੀ ▁ਕਲੰਡਰ ▁ਦੇ ▁ਮੁਤਾਬਕ ▁ਇਹ ▁ਸਾਲ ▁ਦਾ ▁000 ਵਾਂ ▁( ਲੀਪ ▁ਸਾਲ ▁ਵਿੱਚ ▁000 ਵਾਂ ) ▁ਦਿਨ ▁ਹੁੰਦਾ ▁ਹੈ । ▁ਇਸ ▁ਦਿਨ ▁ਤੋਂ ▁ਸਾਲ ▁ਦੇ ▁000 ▁ਦਿਨ ▁ਬਾਕੀ ▁ਹਨ ।