Bengali (bn) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
10000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
25000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
50000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
100000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
200000 vocab model txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix
txt | bin
bokeh | umap | matrix

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizebnwiki sample
original জারি গান বাংলাদেশের এক প্রকারের ঐতিহ্যবাহী সঙ্গীতরীতি। ফার্সি জারি শব্দের অর্থ শোক। মুহাররম মাসে কারবালার বিয়োগান্তক কাহিনীর স্মরণে মূলত এই গানের উদ্
বিষয়শ্রেণী:১৮৫৪-এ জন্ম বিষয়শ্রেণী:১৯২২-এ মৃত্যু বিষয়শ্রেণী:কবি বিষয়শ্রেণী:বাঙালি কণ্ঠশিল্পী বিষয়শ্রেণী:বাঙালি গীতিকার বিষয়শ্রেণী:বাঙালি সুরকার ব
জাপানের পুনঃখোদিত মানচিত্র তোকুগাওয়া ইয়েয়াসু হিদেয়োশির পুত্রের অন্তর্বর্তীকালীন রাজশক্তি হিসেবে দেশ শাসন করেন। তিনি তাঁর পদ ব্যবহার করে রাজনৈতিক ও
1000 ▁জ ার ি ▁গ ান ▁বাংলাদেশের ▁এক ▁প্র কার ের ▁ঐ তিহ ্য বাহ ী ▁সঙ্গ ীত র ী তি । ▁ফ ার ্স ি ▁জ ার ি ▁শ ব ্ দের ▁অর্থ ▁শ োক । ▁মু হার র ম ▁ম াস ে ▁কার ব াল ার ▁বি য় োগ ান্ত ক ▁ক াহ িন ীর ▁স ্ম রণ ে ▁মূল ত ▁এই ▁গ ানের ▁উদ্
▁বিষয়শ্রেণী : 0000 - এ ▁জন্ম ▁বিষয়শ্রেণী : 0000 - এ ▁মৃত ্যু ▁বিষয়শ্রেণী : ক বি ▁বিষয়শ্রেণী : বা ঙ ালি ▁ক ণ ্ ঠ শ িল্প ী ▁বিষয়শ্রেণী : বা ঙ ালি ▁গ ীত িকার ▁বিষয়শ্রেণী : বা ঙ ালি ▁স ুর কার ▁ব
▁জ াপ ানের ▁প ুন ঃ খ ো দ িত ▁মান চ িত্র ▁ত োক ুগ া ওয়া ▁ই য়ে য় াস ু ▁হ ি দ ে য় ো শ ির ▁প ু ত্র ের ▁অন্ত র্ব র্ত ী কাল ীন ▁রাজ শ ক্ত ি ▁হিসেবে ▁দেশ ▁শ াস ন ▁করেন । ▁তিনি ▁তাঁর ▁পদ ▁ব্যবহার ▁করে ▁রাজ ন ৈ তিক ▁ও
3000 ▁জ ারি ▁গান ▁বাংলাদেশের ▁এক ▁প্র কার ের ▁ঐতিহ্য বাহ ী ▁সঙ্গীত রী তি । ▁ফ ার্স ি ▁জ ারি ▁শব ্দের ▁অর্থ ▁শ োক । ▁মু হার র ম ▁মাসে ▁কার ব াল ার ▁বি য় োগ ান্ত ক ▁কাহ িনীর ▁স্ম রণ ে ▁মূলত ▁এই ▁গ ানের ▁উদ্
▁বিষয়শ্রেণী : 0000 - এ ▁জন্ম ▁বিষয়শ্রেণী : 0000 - এ ▁মৃত্যু ▁বিষয়শ্রেণী : ক বি ▁বিষয়শ্রেণী : বা ঙালি ▁কণ ্ ঠ শিল্পী ▁বিষয়শ্রেণী : বা ঙালি ▁গ ীত িকার ▁বিষয়শ্রেণী : বা ঙালি ▁সুর কার ▁ব
▁জাপ ানের ▁পুন ঃ খ োদ িত ▁মান চিত্র ▁ত োক ুগ া ওয়া ▁ই য়ে য় াস ু ▁হ িদ ে য় ো শ ির ▁পুত্র ের ▁অন্ত র্ব র্ত ী কালীন ▁রাজ শ ক্ত ি ▁হিসেবে ▁দেশ ▁শাসন ▁করেন । ▁তিনি ▁তাঁর ▁পদ ▁ব্যবহার ▁করে ▁রাজনৈতিক ▁ও
5000 ▁জ ারি ▁গান ▁বাংলাদেশের ▁এক ▁প্রকার ের ▁ঐতিহ্যবাহী ▁সঙ্গীত রী তি । ▁ফ ার্স ি ▁জ ারি ▁শব্দের ▁অর্থ ▁শ োক । ▁মু হার রম ▁মাসে ▁কার ব ালার ▁বি য় োগ ান্ত ক ▁কাহ িনীর ▁স্ম রণ ে ▁মূলত ▁এই ▁গানের ▁উদ্
▁বিষয়শ্রেণী : 0000 - এ ▁জন্ম ▁বিষয়শ্রেণী : 0000 - এ ▁মৃত্যু ▁বিষয়শ্রেণী : ক বি ▁বিষয়শ্রেণী : বাঙালি ▁কণ্ঠ শিল্পী ▁বিষয়শ্রেণী : বাঙালি ▁গীত িকার ▁বিষয়শ্রেণী : বাঙালি ▁সুর কার ▁ব
▁জাপানের ▁পুন ঃ খ োদ িত ▁মান চিত্র ▁ত োক ুগ া ওয়া ▁ই য়ে য় াস ু ▁হ িদ েয় োশ ির ▁পুত্র ের ▁অন্ত র্ব র্ত ী কালীন ▁রাজ শ ক্তি ▁হিসেবে ▁দেশ ▁শাসন ▁করেন । ▁তিনি ▁তাঁর ▁পদ ▁ব্যবহার ▁করে ▁রাজনৈতিক ▁ও
10000 ▁জারি ▁গান ▁বাংলাদেশের ▁এক ▁প্রকারের ▁ঐতিহ্যবাহী ▁সঙ্গীত রী তি । ▁ফার্সি ▁জারি ▁শব্দের ▁অর্থ ▁শ োক । ▁মু হার রম ▁মাসে ▁কার ব ালার ▁বি য় োগ ান্ত ক ▁কাহ িনীর ▁স্মরণ ে ▁মূলত ▁এই ▁গানের ▁উদ্
▁বিষয়শ্রেণী : 0000 - এ ▁জন্ম ▁বিষয়শ্রেণী : 0000 - এ ▁মৃত্যু ▁বিষয়শ্রেণী : ক বি ▁বিষয়শ্রেণী : বাঙালি ▁কণ্ঠশিল্পী ▁বিষয়শ্রেণী : বাঙালি ▁গীতিকার ▁বিষয়শ্রেণী : বাঙালি ▁সুরকার ▁ব
▁জাপানের ▁পুনঃ খ োদিত ▁মানচিত্র ▁ত োক ুগ া ওয়া ▁ইয়ে য় াস ু ▁হ িদ েয় োশ ির ▁পুত্র ের ▁অন্ত র্ব র্ত ী কালীন ▁রাজ শক্তি ▁হিসেবে ▁দেশ ▁শাসন ▁করেন । ▁তিনি ▁তাঁর ▁পদ ▁ব্যবহার ▁করে ▁রাজনৈতিক ▁ও
25000 ▁জারি ▁গান ▁বাংলাদেশের ▁এক ▁প্রকারের ▁ঐতিহ্যবাহী ▁সঙ্গীত রী তি । ▁ফার্সি ▁জারি ▁শব্দের ▁অর্থ ▁শোক । ▁মু হার রম ▁মাসে ▁কার ব ালার ▁বিয়োগ ান্ত ক ▁কাহিনীর ▁স্মরণে ▁মূলত ▁এই ▁গানের ▁উদ্
▁বিষয়শ্রেণী :0000 - এ ▁জন্ম ▁বিষয়শ্রেণী :0000 - এ ▁মৃত্যু ▁বিষয়শ্রেণী : কবি ▁বিষয়শ্রেণী : বাঙালি ▁কণ্ঠশিল্পী ▁বিষয়শ্রেণী : বাঙালি ▁গীতিকার ▁বিষয়শ্রেণী : বাঙালি ▁সুরকার ▁ব
▁জাপানের ▁পুনঃ খ োদিত ▁মানচিত্র ▁ত োক ুগ াওয়া ▁ইয়ে য়াস ু ▁হ িদ েয় োশ ির ▁পুত্রের ▁অন্তর্বর্তী কালীন ▁রাজ শক্তি ▁হিসেবে ▁দেশ ▁শাসন ▁করেন । ▁তিনি ▁তাঁর ▁পদ ▁ব্যবহার ▁করে ▁রাজনৈতিক ▁ও
50000 ▁জারি ▁গান ▁বাংলাদেশের ▁এক ▁প্রকারের ▁ঐতিহ্যবাহী ▁সঙ্গীত রীতি । ▁ফার্সি ▁জারি ▁শব্দের ▁অর্থ ▁শোক । ▁মু হার রম ▁মাসে ▁কার বালার ▁বিয়োগ ান্তক ▁কাহিনীর ▁স্মরণে ▁মূলত ▁এই ▁গানের ▁উদ্
▁বিষয়শ্রেণী :0000 - এ ▁জন্ম ▁বিষয়শ্রেণী :0000 - এ ▁মৃত্যু ▁বিষয়শ্রেণী : কবি ▁বিষয়শ্রেণী : বাঙালি ▁কণ্ঠশিল্পী ▁বিষয়শ্রেণী : বাঙালি ▁গীতিকার ▁বিষয়শ্রেণী : বাঙালি ▁সুরকার ▁ব
▁জাপানের ▁পুনঃ খ োদিত ▁মানচিত্র ▁তোক ুগাওয়া ▁ইয়ে য়াস ু ▁হিদ েয় োশ ির ▁পুত্রের ▁অন্তর্বর্তী কালীন ▁রাজ শক্তি ▁হিসেবে ▁দেশ ▁শাসন ▁করেন । ▁তিনি ▁তাঁর ▁পদ ▁ব্যবহার ▁করে ▁রাজনৈতিক ▁ও
100000 ▁জারি ▁গান ▁বাংলাদেশের ▁এক ▁প্রকারের ▁ঐতিহ্যবাহী ▁সঙ্গীত রীতি । ▁ফার্সি ▁জারি ▁শব্দের ▁অর্থ ▁শোক । ▁মুহার রম ▁মাসে ▁কারবালার ▁বিয়োগান্তক ▁কাহিনীর ▁স্মরণে ▁মূলত ▁এই ▁গানের ▁উদ্
▁বিষয়শ্রেণী :0000 - এ ▁জন্ম ▁বিষয়শ্রেণী :0000 - এ ▁মৃত্যু ▁বিষয়শ্রেণী : কবি ▁বিষয়শ্রেণী : বাঙালি ▁কণ্ঠশিল্পী ▁বিষয়শ্রেণী : বাঙালি ▁গীতিকার ▁বিষয়শ্রেণী : বাঙালি ▁সুরকার ▁ব
▁জাপানের ▁পুনঃ খোদিত ▁মানচিত্র ▁তোকুগাওয়া ▁ইয়ে য়াস ু ▁হিদ েয় োশ ির ▁পুত্রের ▁অন্তর্বর্তী কালীন ▁রাজ শক্তি ▁হিসেবে ▁দেশ ▁শাসন ▁করেন । ▁তিনি ▁তাঁর ▁পদ ▁ব্যবহার ▁করে ▁রাজনৈতিক ▁ও