Lao (lo) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix
10000 vocab model txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix
25000 vocab model txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix

View Lao subword embeddings in TensorFlow Projector

2-D UMAP plots

Embedding matrix plots

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizelowiki sample
original ເມື່ອຜ່ານທະວານບານເຖິງໂຄປຸລະຊັ້ນໃນ ທາງຂຶ້ນມີເທວະຮູບຕັ້ງຢູ່ ຍ່າງຂຶ້ນຖານຫີນຄ້າຍກຳແພງ 0 ຊັ້ນ ທີ່ມີຄວາມຫມາຍເຖິງສະຫວັນທັງ 0 ຈົນເຖິງປາສາດປະທານສ່ວນເທິງສຸດ ລັກ
ມີຈຸດເລີ່ມຕົ້ນໃນເດືອນມັງກອນ ປິ ຄ.ສ 0000 ໂດຍປະເທດໄທ ມາເລເຊຍ ແລະ ຟິລິບປີນ ໄດ້ຮ່ວມກັນຈັດຕັ້ງສະມາຄົມອາສາ ຫຼື association of south east asia ຂື້ນເພື່ອຮ່ວມມ
ຕະ­ຫຼອດໄລ­ຍະເວ­ລາຕິດພັນກັບວຽກງານສິ­ລະປະການ­ສະ­ແດງ ທ່ານ ສຸ­ບັນ ສຸ­ວັນ­ນະວົງ ໄດ້ສຸມສະ­ຕິປັນ­ຍາ ເຫື່ອ­ແຮງຂອງຕົນເຂົ້າໃນການປະ­ດິດຄິດແຕ່ງເພງຢ່າງບໍ່ຮູ້ ອິດຮູ
1000 ▁ເມື່ອ ຜ ່ານ ທະ ວ ານ ບານ ເຖິງ ໂຄ ປ ຸ ລະ ຊ ັ້ນ ໃນ ▁ ທາງ ຂຶ້ນ ມີ ເທ ວະ ຮູບ ຕັ້ງ ຢູ່ ▁ຍ ່າງ ຂຶ້ນ ຖານ ຫ ີນ ຄ ້າຍ ກໍາ ແ ພ ງ ▁0 ▁ຊ ັ້ນ ▁ທີ່ ມີ ຄວາມ ຫມາຍ ເຖິງ ສະຫ ວັນ ທັງ ▁0 ▁ຈ ົນ ເຖິງ ປາ ສາດ ປະ ທານ ສ່ວນ ເທ ິງ ສຸດ ▁ລ ັກ
▁ມີ ຈ ຸດ ເລ ີ ່ມ ຕົ້ນ ໃນ ເດ ືອນ ມ ັງ ກອນ ▁ປ ິ ▁ຄ . ສ ▁0000 ▁ໂດຍ ປະເທດ ໄທ ▁ ມາ ເລ ເຊ ຍ ▁ແລະ ▁ ຟ ິ ລິ ບ ປີ ນ ▁ໄດ້ ຮ ່ວມ ກັນ ຈັດ ຕັ້ງ ສະ ມາ ຄົມ ອາ ສາ ▁ຫຼື ▁a s s o c i ation ▁of ▁s o ut h ▁e as t ▁a s i a ▁ຂ ື້ນ ເພື່ອ ຮ ່ວມ ມ
▁ຕ ະ ­ ຫຼ ອດ ໄລ ­ ຍະ ເວ ­ ລາ ຕິດ ພັນ ກັບ ວ ຽກ ງານ ສິ ­ ລະ ປະ ການ ­ ສະ ­ ແດງ ▁ທ່ານ ▁ສ ຸ ­ ບັນ ▁ສ ຸ ­ ວັນ ­ ນະ ວົງ ▁ໄດ້ ສ ຸມ ສະ ­ ຕິ ປັນ ­ ຍາ ▁ເ ຫ ື່ອ ­ ແ ຮງ ຂອງ ຕ ົນ ເຂົ້າ ໃນການ ປະ ­ ດ ິດ ຄ ິດ ແຕ ່ງ ເພ ງ ຢ່າງ ບໍ່ ຮູ້ ▁ອ ິດ ຮ ູ
3000 ▁ເມື່ອ ຜ່ານ ທະ ວານ ບານ ເຖິງ ໂຄ ປ ຸ ລະ ຊັ້ນ ໃນ ▁ທາງ ຂຶ້ນ ມີ ເທ ວະ ຮູບ ຕັ້ງຢູ່ ▁ຍ ່າງ ຂຶ້ນ ຖານ ຫີນ ຄ້າຍ ກໍາ ແພງ ▁0 ▁ຊ ັ້ນ ▁ທີ່ ມີຄວາມ ຫມາຍເຖິງ ສະຫວັນ ທັງ ▁0 ▁ຈົນ ເຖິງ ປາ ສາດ ປະທານ ສ່ວນ ເທິງ ສຸດ ▁ລ ັກ
▁ມີ ຈຸດ ເລີ່ມ ຕົ້ນ ໃນ ເດືອນ ມ ັງກອນ ▁ປ ິ ▁ຄ . ສ ▁0000 ▁ໂດຍ ປະເທດໄທ ▁ມາ ເລ ເຊຍ ▁ແລະ ▁ຟ ິ ລິ ບ ປີ ນ ▁ໄດ້ ຮ່ວມກັນ ຈັດຕັ້ງ ສະມາ ຄົມ ອາ ສາ ▁ຫຼື ▁as s oc i ation ▁of ▁so ut h ▁e ast ▁as ia ▁ຂ ື້ນ ເພື່ອ ຮ່ວມ ມ
▁ຕະ ­ ຫຼ ອດ ໄລ ­ ຍະ ເວ ­ ລາ ຕິດ ພັນ ກັບ ວຽກງານ ສິ ­ ລະປະ ການ ­ ສະ ­ ແດງ ▁ທ່ານ ▁ສຸ ­ ບັນ ▁ສຸ ­ ວັນ ­ ນະ ວົງ ▁ໄດ້ ສ ຸມ ສະ ­ ຕິ ປັນ ­ ຍາ ▁ເ ຫ ື່ອ ­ ແຮງ ຂອງຕົນ ເຂົ້າ ໃນການ ປະ ­ ດິດ ຄິດ ແຕ່ງ ເພງ ຢ່າງ ບໍ່ ຮູ້ ▁ອ ິດ ຮ ູ
5000 ▁ເມື່ອ ຜ່ານ ທະ ວານ ບານ ເຖິງ ໂຄ ປ ຸ ລະ ຊັ້ນ ໃນ ▁ທາງ ຂຶ້ນ ມີ ເທ ວະ ຮູບ ຕັ້ງຢູ່ ▁ຍ ່າງ ຂຶ້ນ ຖານ ຫີນ ຄ້າຍ ກໍາ ແພງ ▁0 ▁ຊັ້ນ ▁ທີ່ ມີຄວາມ ຫມາຍເຖິງ ສະຫວັນ ທັງ ▁0 ▁ຈົນ ເຖິງ ປາ ສາດ ປະທານ ສ່ວນ ເທິງ ສຸດ ▁ລັກ
▁ມີ ຈຸດ ເລີ່ມຕົ້ນ ໃນເດືອນ ມັງກອນ ▁ປ ິ ▁ຄ . ສ ▁0000 ▁ໂດຍ ປະເທດໄທ ▁ມາ ເລເຊຍ ▁ແລະ ▁ຟ ິ ລິບ ປີ ນ ▁ໄດ້ ຮ່ວມກັນ ຈັດຕັ້ງ ສະມາ ຄົມ ອາ ສາ ▁ຫຼື ▁ass oci ation ▁of ▁so uth ▁e ast ▁as ia ▁ຂ ື້ນ ເພື່ອ ຮ່ວມ ມ
▁ຕະ ­ ຫຼອດ ໄລ ­ ຍະ ເວ ­ ລາ ຕິດ ພັນ ກັບ ວຽກງານ ສິ ­ ລະປະ ການ ­ ສະ ­ ແດງ ▁ທ່ານ ▁ສຸ ­ ບັນ ▁ສຸ ­ ວັນ ­ ນະ ວົງ ▁ໄດ້ ສຸມ ສະ ­ ຕິ ປັນ ­ ຍາ ▁ເ ຫ ື່ອ ­ ແຮງ ຂອງຕົນ ເຂົ້າ ໃນການ ປະ ­ ດິດ ຄິດ ແຕ່ງ ເພງ ຢ່າງ ບໍ່ ຮູ້ ▁ອ ິດ ຮ ູ
10000 ▁ເມື່ອ ຜ່ານ ທະ ວານ ບານ ເຖິງ ໂຄ ປຸ ລະ ຊັ້ນໃນ ▁ທາງ ຂຶ້ນ ມີ ເທວະ ຮູບ ຕັ້ງຢູ່ ▁ຍ ່າງ ຂຶ້ນ ຖານ ຫີນ ຄ້າຍ ກໍາແພງ ▁0 ▁ຊັ້ນ ▁ທີ່ມີຄວາມ ຫມາຍເຖິງ ສະຫວັນ ທັງ ▁0 ▁ຈົນເຖິງ ປາສາດ ປະທານ ສ່ວນ ເທິງ ສຸດ ▁ລັກ
▁ມີ ຈຸດ ເລີ່ມຕົ້ນ ໃນເດືອນ ມັງກອນ ▁ປິ ▁ຄ . ສ ▁0000 ▁ໂດຍ ປະເທດໄທ ▁ມາເລເຊຍ ▁ແລະ ▁ຟ ິ ລິບ ປີນ ▁ໄດ້ ຮ່ວມກັນ ຈັດຕັ້ງ ສະມາຄົມ ອາ ສາ ▁ຫຼື ▁association ▁of ▁south ▁e ast ▁as ia ▁ຂື້ນ ເພື່ອ ຮ່ວມ ມ
▁ຕະ ­ ຫຼອດ ໄລ ­ ຍະ ເວ ­ ລາ ຕິດພັນ ກັບ ວຽກງານ ສິ ­ ລະປະ ການ ­ ສະ ­ ແດງ ▁ທ່ານ ▁ສຸ ­ ບັນ ▁ສຸ ­ ວັນ ­ ນະ ວົງ ▁ໄດ້ ສຸມ ສະ ­ ຕິ ປັນ ­ ຍາ ▁ເ ຫ ື່ອ ­ ແຮງ ຂອງຕົນ ເຂົ້າໃນການ ປະ ­ ດິດ ຄິດ ແຕ່ງ ເພງ ຢ່າງ ບໍ່ຮູ້ ▁ອິດ ຮູ
25000 ▁ເມື່ອ ຜ່ານ ທະ ວານ ບານ ເຖິງ ໂຄ ປຸລະ ຊັ້ນໃນ ▁ທາງ ຂຶ້ນ ມີ ເທວະ ຮູບ ຕັ້ງຢູ່ ▁ຍ່າງ ຂຶ້ນ ຖານ ຫີນ ຄ້າຍ ກໍາແພງ ▁0 ▁ຊັ້ນ ▁ທີ່ມີຄວາມ ຫມາຍເຖິງ ສະຫວັນ ທັງ ▁0 ▁ຈົນເຖິງ ປາສາດ ປະທານ ສ່ວນ ເທິງ ສຸດ ▁ລັກ
▁ມີ ຈຸດເລີ່ມຕົ້ນ ໃນເດືອນ ມັງກອນ ▁ປິ ▁ຄ . ສ ▁0000 ▁ໂດຍ ປະເທດໄທ ▁ມາເລເຊຍ ▁ແລະ ▁ຟິລິບ ປີນ ▁ໄດ້ ຮ່ວມກັນ ຈັດຕັ້ງ ສະມາຄົມ ອາສາ ▁ຫຼື ▁association ▁of ▁south ▁east ▁asia ▁ຂື້ນ ເພື່ອ ຮ່ວມ ມ
▁ຕະ ­ ຫຼອດ ໄລ ­ ຍະ ເວ ­ ລາ ຕິດພັນກັບ ວຽກງານ ສິ ­ ລະປະ ການ ­ ສະ ­ ແດງ ▁ທ່ານ ▁ສຸ ­ ບັນ ▁ສຸ ­ ວັນ ­ ນະ ວົງ ▁ໄດ້ ສຸມ ສະ ­ ຕິ ປັນ ­ ຍາ ▁ເຫ ື່ອ ­ ແຮງ ຂອງຕົນ ເຂົ້າໃນການ ປະ ­ ດິດ ຄິດ ແຕ່ງເພງ ຢ່າງ ບໍ່ຮູ້ ▁ອິດ ຮູ