Oriya (macrolanguage) (or) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | orwiki sample |
|---|---|
| original | ପାକଳ ହେବା ପରେ ଏହାର ରଙ୍ଗ ହଳଦିଆ, ସବୁଜ ଓ ଧଳାର ମିଶାମିଶି ରଙ୍ଗ ହୋଇଥାଏ ଓ ଖାଇଲେ ଖଟାଳିଆ ଲାଗେ। କଷି ଅବସ୍ଥାରେ ଏହା ଫିକା ଶାଗୁଆ ରଙ୍ଗର ଦେଖାଯାଏ ଓ ଖାଇଲେ କଷାଳିଆଲାଗେ। * ପ୍ରତୀକ୍ଷା (୧୯୭୯) * ସମ୍ପର୍କ (୧୯୮୦) * ବଳୀ (୧୯୯୩) * କହିବି ଗୋଟିଏ କଥା (୧୯୯୫) * ଟିକିଏ ଛାଇ (୨୦୦୪) * ଭୋର ମୋଇତ୍ର କନଫୁଲ (୨୦୧୧) * ବାୟା ରାଜା (୧୯୯୭) * ଯଦି'ବା ଗପ ହିନ୍ଦୁମାନେ ଜାତି, ଭାଷା, ବର୍ଣ ନିର୍ବିଶେଷରେ ଗଣେଶଙ୍କୁ ପୂଜା କରିଥାନ୍ତି। ଏପରିକି ଜୈନ, ବୁଦ୍ଧ ଓ ଅଣଭାରତୀୟମାନେ ମଧ୍ୟ ଗଣେଶଙ୍କ ଉପାସନା କରିଥାନ୍ତି। |
| 1000 | ▁ପା କ ଳ ▁ହେବା ▁ପରେ ▁ଏହାର ▁ର ଙ୍ଗ ▁ହ ଳ ଦ ିଆ , ▁ସବୁ ଜ ▁ଓ ▁ଧ ଳ ାର ▁ମିଶ ାମ ିଶ ି ▁ର ଙ୍ଗ ▁ହୋଇଥାଏ ▁ଓ ▁ଖ ାଇ ଲେ ▁ଖ ଟ ାଳ ିଆ ▁ଲା ଗ େ । ▁କ ଷ ି ▁ଅବସ୍ ଥା ରେ ▁ଏହା ▁ଫ ିକା ▁ଶ ାଗ ୁଆ ▁ର ଙ୍ଗ ର ▁ଦେଖା ଯାଏ ▁ଓ ▁ଖ ାଇ ଲେ ▁କ ଷ ାଳ ିଆ ଲା ଗ େ । ▁* ▁ପ୍ର ତୀ କ୍ଷା ▁(0000) ▁* ▁ସମ୍ ପ ର୍କ ▁(0000) ▁* ▁ବ ଳୀ ▁(0000) ▁* ▁କ ହି ବି ▁ଗୋଟିଏ ▁କଥା ▁(0000) ▁* ▁ଟ ିକ ି ଏ ▁ଛ ାଇ ▁(0000) ▁* ▁ଭ ୋ ର ▁ମ ୋଇ ତ୍ର ▁କ ନ ଫ ୁ ଲ ▁(0000) ▁* ▁ବା ୟ ା ▁ରାଜ ା ▁(0000) ▁* ▁ଯ ଦି ' ବା ▁ଗ ପ ▁ହିନ୍ଦ ୁ ମାନେ ▁ଜା ତି , ▁ଭାଷ ା , ▁ବର୍ ଣ ▁ନିର୍ ବି ଶ େଷ ରେ ▁ଗ ଣ େଶ ଙ୍କୁ ▁ପୂ ଜା ▁କରି ଥାନ୍ତି । ▁ଏ ପରି କି ▁ଜ ୈ ନ , ▁ବୁ ଦ୍ଧ ▁ଓ ▁ଅ ଣ ଭ ାରତ ୀୟ ମାନେ ▁ମଧ୍ୟ ▁ଗ ଣ େଶ ଙ୍କ ▁ଉପ ାସ ନା ▁କରି ଥାନ୍ତି । |
| 3000 | ▁ପା କଳ ▁ହେବା ▁ପରେ ▁ଏହାର ▁ରଙ୍ଗ ▁ହଳ ଦିଆ , ▁ସବୁ ଜ ▁ଓ ▁ଧ ଳ ାର ▁ମିଶ ାମ ିଶ ି ▁ରଙ୍ଗ ▁ହୋଇଥାଏ ▁ଓ ▁ଖାଇ ଲେ ▁ଖ ଟ ାଳ ିଆ ▁ଲା ଗେ । ▁କ ଷି ▁ଅବସ୍ଥା ରେ ▁ଏହା ▁ଫ ିକା ▁ଶ ାଗ ୁଆ ▁ରଙ୍ଗ ର ▁ଦେଖାଯାଏ ▁ଓ ▁ଖାଇ ଲେ ▁କ ଷ ାଳ ିଆ ଲା ଗେ । ▁* ▁ପ୍ର ତୀ କ୍ଷା ▁(0000) ▁* ▁ସମ୍ପର୍କ ▁(0000) ▁* ▁ବ ଳୀ ▁(0000) ▁* ▁କହି ବି ▁ଗୋଟିଏ ▁କଥା ▁(0000) ▁* ▁ଟ ିକ ି ଏ ▁ଛ ାଇ ▁(0000) ▁* ▁ଭ ୋର ▁ମ ୋଇ ତ୍ର ▁କ ନ ଫୁ ଲ ▁(0000) ▁* ▁ବା ୟା ▁ରାଜା ▁(0000) ▁* ▁ଯଦି ' ବା ▁ଗ ପ ▁ହିନ୍ଦୁ ମାନେ ▁ଜାତି , ▁ଭାଷା , ▁ବର୍ ଣ ▁ନିର୍ ବି ଶେଷ ରେ ▁ଗଣ େଶ ଙ୍କୁ ▁ପୂଜା ▁କରିଥାନ୍ତି । ▁ଏପରି କି ▁ଜୈ ନ , ▁ବୁ ଦ୍ଧ ▁ଓ ▁ଅଣ ଭାରତୀୟ ମାନେ ▁ମଧ୍ୟ ▁ଗଣ େଶ ଙ୍କ ▁ଉପ ାସ ନା ▁କରିଥାନ୍ତି । |
| 5000 | ▁ପା କଳ ▁ହେବା ▁ପରେ ▁ଏହାର ▁ରଙ୍ଗ ▁ହଳ ଦିଆ , ▁ସବୁ ଜ ▁ଓ ▁ଧ ଳ ାର ▁ମିଶ ାମ ିଶ ି ▁ରଙ୍ଗ ▁ହୋଇଥାଏ ▁ଓ ▁ଖାଇଲେ ▁ଖ ଟ ାଳ ିଆ ▁ଲାଗେ । ▁କ ଷି ▁ଅବସ୍ଥାରେ ▁ଏହା ▁ଫ ିକା ▁ଶ ାଗ ୁଆ ▁ରଙ୍ଗର ▁ଦେଖାଯାଏ ▁ଓ ▁ଖାଇଲେ ▁କ ଷ ାଳ ିଆ ଲା ଗେ । ▁* ▁ପ୍ରତୀ କ୍ଷା ▁(0000) ▁* ▁ସମ୍ପର୍କ ▁(0000) ▁* ▁ବ ଳୀ ▁(0000) ▁* ▁କହି ବି ▁ଗୋଟିଏ ▁କଥା ▁(0000) ▁* ▁ଟ ିକ ି ଏ ▁ଛ ାଇ ▁(0000) ▁* ▁ଭ ୋର ▁ମ ୋଇ ତ୍ର ▁କନ ଫୁ ଲ ▁(0000) ▁* ▁ବା ୟା ▁ରାଜା ▁(0000) ▁* ▁ଯଦି ' ବା ▁ଗ ପ ▁ହିନ୍ଦୁ ମାନେ ▁ଜାତି , ▁ଭାଷା , ▁ବର୍ ଣ ▁ନିର୍ ବିଶେଷ ରେ ▁ଗଣେଶ ଙ୍କୁ ▁ପୂଜା ▁କରିଥାନ୍ତି । ▁ଏପରି କି ▁ଜୈନ , ▁ବୁଦ୍ଧ ▁ଓ ▁ଅଣ ଭାରତୀୟ ମାନେ ▁ମଧ୍ୟ ▁ଗଣେଶ ଙ୍କ ▁ଉପାସନା ▁କରିଥାନ୍ତି । |
| 10000 | ▁ପା କଳ ▁ହେବା ▁ପରେ ▁ଏହାର ▁ରଙ୍ଗ ▁ହଳଦିଆ , ▁ସବୁଜ ▁ଓ ▁ଧ ଳାର ▁ମିଶ ାମ ିଶ ି ▁ରଙ୍ଗ ▁ହୋଇଥାଏ ▁ଓ ▁ଖାଇଲେ ▁ଖ ଟ ାଳ ିଆ ▁ଲାଗେ । ▁କ ଷି ▁ଅବସ୍ଥାରେ ▁ଏହା ▁ଫ ିକା ▁ଶାଗ ୁଆ ▁ରଙ୍ଗର ▁ଦେଖାଯାଏ ▁ଓ ▁ଖାଇଲେ ▁କଷ ାଳ ିଆ ଲା ଗେ । ▁* ▁ପ୍ରତୀ କ୍ଷା ▁(0000) ▁* ▁ସମ୍ପର୍କ ▁(0000) ▁* ▁ବ ଳୀ ▁(0000) ▁* ▁କହି ବି ▁ଗୋଟିଏ ▁କଥା ▁(0000) ▁* ▁ଟିକି ଏ ▁ଛ ାଇ ▁(0000) ▁* ▁ଭ ୋର ▁ମ ୋଇ ତ୍ର ▁କନ ଫୁଲ ▁(0000) ▁* ▁ବା ୟା ▁ରାଜା ▁(0000) ▁* ▁ଯଦି ' ବା ▁ଗପ ▁ହିନ୍ଦୁ ମାନେ ▁ଜାତି , ▁ଭାଷା , ▁ବର୍ଣ ▁ନିର୍ ବିଶେଷ ରେ ▁ଗଣେଶ ଙ୍କୁ ▁ପୂଜା ▁କରିଥାନ୍ତି । ▁ଏପରିକି ▁ଜୈନ , ▁ବୁଦ୍ଧ ▁ଓ ▁ଅଣ ଭାରତୀୟ ମାନେ ▁ମଧ୍ୟ ▁ଗଣେଶ ଙ୍କ ▁ଉପାସନା ▁କରିଥାନ୍ତି । |
| 25000 | ▁ପାକଳ ▁ହେବା ▁ପରେ ▁ଏହାର ▁ରଙ୍ଗ ▁ହଳଦିଆ , ▁ସବୁଜ ▁ଓ ▁ଧ ଳାର ▁ମିଶ ାମ ିଶି ▁ରଙ୍ଗ ▁ହୋଇଥାଏ ▁ଓ ▁ଖାଇଲେ ▁ଖଟ ାଳିଆ ▁ଲାଗେ । ▁କଷି ▁ଅବସ୍ଥାରେ ▁ଏହା ▁ଫିକା ▁ଶାଗ ୁଆ ▁ରଙ୍ଗର ▁ଦେଖାଯାଏ ▁ଓ ▁ଖାଇଲେ ▁କଷ ାଳିଆ ଲା ଗେ । ▁* ▁ପ୍ରତୀ କ୍ଷା ▁(0000) ▁* ▁ସମ୍ପର୍କ ▁(0000) ▁* ▁ବଳୀ ▁(0000) ▁* ▁କହି ବି ▁ଗୋଟିଏ ▁କଥା ▁(0000) ▁* ▁ଟିକିଏ ▁ଛାଇ ▁(0000) ▁* ▁ଭୋର ▁ମ ୋଇ ତ୍ର ▁କନ ଫୁଲ ▁(0000) ▁* ▁ବାୟା ▁ରାଜା ▁(0000) ▁* ▁ଯଦି ' ବା ▁ଗପ ▁ହିନ୍ଦୁମାନେ ▁ଜାତି , ▁ଭାଷା , ▁ବର୍ଣ ▁ନିର୍ବିଶେଷରେ ▁ଗଣେଶଙ୍କୁ ▁ପୂଜା ▁କରିଥାନ୍ତି । ▁ଏପରିକି ▁ଜୈନ , ▁ବୁଦ୍ଧ ▁ଓ ▁ଅଣ ଭାରତୀୟ ମାନେ ▁ମଧ୍ୟ ▁ଗଣେଶଙ୍କ ▁ଉପାସନା ▁କରିଥାନ୍ତି । |
| 50000 | ▁ପାକଳ ▁ହେବା ▁ପରେ ▁ଏହାର ▁ରଙ୍ଗ ▁ହଳଦିଆ , ▁ସବୁଜ ▁ଓ ▁ଧଳାର ▁ମିଶ ାମ ିଶି ▁ରଙ୍ଗ ▁ହୋଇଥାଏ ▁ଓ ▁ଖାଇଲେ ▁ଖଟ ାଳିଆ ▁ଲାଗେ । ▁କଷି ▁ଅବସ୍ଥାରେ ▁ଏହା ▁ଫିକା ▁ଶାଗୁଆ ▁ରଙ୍ଗର ▁ଦେଖାଯାଏ ▁ଓ ▁ଖାଇଲେ ▁କଷ ାଳିଆ ଲାଗେ । ▁* ▁ପ୍ରତୀ କ୍ଷା ▁(0000) ▁* ▁ସମ୍ପର୍କ ▁(0000) ▁* ▁ବଳୀ ▁(0000) ▁* ▁କହିବି ▁ଗୋଟିଏ ▁କଥା ▁(0000) ▁* ▁ଟିକିଏ ▁ଛାଇ ▁(0000) ▁* ▁ଭୋର ▁ମୋଇ ତ୍ର ▁କନ ଫୁଲ ▁(0000) ▁* ▁ବାୟା ▁ରାଜା ▁(0000) ▁* ▁ଯଦି ' ବା ▁ଗପ ▁ହିନ୍ଦୁମାନେ ▁ଜାତି , ▁ଭାଷା , ▁ବର୍ଣ ▁ନିର୍ବିଶେଷରେ ▁ଗଣେଶଙ୍କୁ ▁ପୂଜା ▁କରିଥାନ୍ତି । ▁ଏପରିକି ▁ଜୈନ , ▁ବୁଦ୍ଧ ▁ଓ ▁ଅଣ ଭାରତୀୟ ମାନେ ▁ମଧ୍ୟ ▁ଗଣେଶଙ୍କ ▁ଉପାସନା ▁କରିଥାନ୍ତି । |