Gilaki (glk) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix
10000 vocab model txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix

View Gilaki subword embeddings in TensorFlow Projector

2-D UMAP plots

Embedding matrix plots

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizeglkwiki sample
original * فنی و موهندسی (0000 بنا ببؤ) * عولوم پایه (0000 بنا ببؤ) * منابع طبیعی و کشاورزی (0000 بنا ببؤ) * عولوم انسانی (0000 بنا ببؤ) * معلّمؤنˇ آموزش (0000
گیل، مازندرانˇ گیلکی زوانˇ مئن نی دره ؤ مازندرانی زوان، پور شواهدˇ وأسی، سانسکریتˇ همره ارتباطˇ مستقیم دأنه. گیلکؤنˇ مردانه لیواس گیلکؤنˇ زنانه لیواس
۱ ژانويه ۱۸۶۵ م، لينكؤن خو آزادی اعلاميهٰ مونتشر بوگوده و آمريكا داخلی جنگˇ مئن همهته بردهیانه آزاد بوگوده حتا هو ايالاتˇ میان كی شورشيانˇ دس دبو. ولی
1000 ▁* ▁ف نی ▁و ▁مو ه ند سی ▁(0000 ▁بنا ▁ببؤ ) ▁* ▁ع ول وم ▁پ ایه ▁(0000 ▁بنا ▁ببؤ ) ▁* ▁من اب ع ▁ط بی عی ▁و ▁ک شاور زی ▁(0000 ▁بنا ▁ببؤ ) ▁* ▁ع ول وم ▁ان س انی ▁(0000 ▁بنا ▁ببؤ ) ▁* ▁مع ل ّ م ؤن ˇ ▁آ مو ز ش ▁(0000
▁گیل ، ▁مازندران ˇ ▁گیلکی ▁زوان ˇ ▁مئن ▁نی ▁دره ▁ؤ ▁مازندران ی ▁زوان ، ▁پور ▁ش و اه د ˇ ▁وأ سی ، ▁س ان س ک ری ت ˇ ▁همره ▁ارت با ط ˇ ▁م ست ق یم ▁دأنه . ▁گیل کؤن ˇ ▁مرد انه ▁لی و اس ▁گیل کؤن ˇ ▁زن انه ▁لی و اس
▁0 ▁ژ ان وي ه ▁0000 ▁م ، ▁ل ين ك ؤن ▁خو ▁آز ادی ▁اع لام يه ٰ ▁م ون ت شر ▁بوگوده ▁و ▁آمري ك ا ▁دا خ لی ▁جنگ ˇ ▁مئن ▁همه ته ▁بر ده ی انه ▁آز اد ▁بوگوده ▁ح تا ▁هو ▁اي ال ات ˇ ▁میان ▁ك ی ▁شور شي ان ˇ ▁دس ▁د بو . ▁ولی
3000 ▁* ▁ف نی ▁و ▁مو هند سی ▁(0000 ▁بنا ▁ببؤ ) ▁* ▁ع ول وم ▁پ ایه ▁(0000 ▁بنا ▁ببؤ ) ▁* ▁منابع ▁طبی عی ▁و ▁کشاورزی ▁(0000 ▁بنا ▁ببؤ ) ▁* ▁ع ول وم ▁ان س انی ▁(0000 ▁بنا ▁ببؤ ) ▁* ▁معل ّ مؤن ˇ ▁آموزش ▁(0000
▁گیل ، ▁مازندران ˇ ▁گیلکی ▁زوان ˇ ▁مئن ▁نی ▁دره ▁ؤ ▁مازندران ی ▁زوان ، ▁پور ▁شو اهد ˇ ▁وأ سی ، ▁سان سک ری ت ˇ ▁همره ▁ارتباط ˇ ▁مست ق یم ▁دأنه . ▁گیل کؤن ˇ ▁مرد انه ▁لی و اس ▁گیل کؤن ˇ ▁زن انه ▁لی و اس
▁0 ▁ژان ويه ▁0000 ▁م ، ▁لينكؤن ▁خو ▁آزادی ▁اعلام يه ٰ ▁مونت شر ▁بوگوده ▁و ▁آمريكا ▁داخلی ▁جنگ ˇ ▁مئن ▁همه ته ▁برده ی انه ▁آزاد ▁بوگوده ▁ح تا ▁هو ▁اي ال ات ˇ ▁میان ▁كی ▁شور شي ان ˇ ▁دس ▁د بو . ▁ولی
5000 ▁* ▁ف نی ▁و ▁مو هند سی ▁(0000 ▁بنا ▁ببؤ ) ▁* ▁ع ول وم ▁پایه ▁(0000 ▁بنا ▁ببؤ ) ▁* ▁منابع ▁طبیعی ▁و ▁کشاورزی ▁(0000 ▁بنا ▁ببؤ ) ▁* ▁ع ول وم ▁ان سانی ▁(0000 ▁بنا ▁ببؤ ) ▁* ▁معل ّ مؤن ˇ ▁آموزش ▁(0000
▁گیل ، ▁مازندران ˇ ▁گیلکی ▁زوان ˇ ▁مئن ▁نی ▁دره ▁ؤ ▁مازندرانی ▁زوان ، ▁پور ▁شو اهد ˇ ▁وأسی ، ▁سان سک ری ت ˇ ▁همره ▁ارتباط ˇ ▁مست ق یم ▁دأنه . ▁گیلکؤن ˇ ▁مرد انه ▁لی واس ▁گیلکؤن ˇ ▁زن انه ▁لی واس
▁0 ▁ژان ويه ▁0000 ▁م ، ▁لينكؤن ▁خو ▁آزادی ▁اعلام يه ٰ ▁مونت شر ▁بوگوده ▁و ▁آمريكا ▁داخلی ▁جنگ ˇ ▁مئن ▁همهته ▁برده ی انه ▁آزاد ▁بوگوده ▁حتا ▁هو ▁اي الات ˇ ▁میان ▁كی ▁شور شي ان ˇ ▁دس ▁دبو . ▁ولی
10000 ▁* ▁فنی ▁و ▁موهند سی ▁(0000 ▁بنا ▁ببؤ ) ▁* ▁ع ولوم ▁پایه ▁(0000 ▁بنا ▁ببؤ ) ▁* ▁منابع ▁طبیعی ▁و ▁کشاورزی ▁(0000 ▁بنا ▁ببؤ ) ▁* ▁ع ولوم ▁انسانی ▁(0000 ▁بنا ▁ببؤ ) ▁* ▁معل ّ مؤن ˇ ▁آموزش ▁(0000
▁گیل ، ▁مازندران ˇ ▁گیلکی ▁زوان ˇ ▁مئن ▁نی ▁دره ▁ؤ ▁مازندرانی ▁زوان ، ▁پور ▁شو اهد ˇ ▁وأسی ، ▁سان سک ریت ˇ ▁همره ▁ارتباط ˇ ▁مستق یم ▁دأنه . ▁گیلکؤن ˇ ▁مرد انه ▁لیواس ▁گیلکؤن ˇ ▁زن انه ▁لیواس
▁0 ▁ژانويه ▁0000 ▁م ، ▁لينكؤن ▁خو ▁آزادی ▁اعلام يه ٰ ▁مونتشر ▁بوگوده ▁و ▁آمريكا ▁داخلی ▁جنگ ˇ ▁مئن ▁همهته ▁برده ی انه ▁آزاد ▁بوگوده ▁حتا ▁هو ▁ايالات ˇ ▁میان ▁كی ▁شور شيان ˇ ▁دس ▁دبو . ▁ولی