Pontic (pnt) subword embeddings

Vocab size vocab model 25 dim 50 dim 100 dim 200 dim 300 dim
1000 vocab model txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix
3000 vocab model txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix
5000 vocab model txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix 		txt | bin
bokeh | umap | matrix

View Pontic subword embeddings in TensorFlow Projector

2-D UMAP plots

Embedding matrix plots

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab sizepntwiki sample
original left kültüri zoğrafiki · tiyatro · loğotehnia · musiki · arhitektoniki · ğliptiki · athlitismos · mytholojia · inanema · piitiki
εςς ατομικόν αριθμόν 00 κι ατομικόν βάρος 00 κι ειδικόν βάρος 0,000. εν μαλακόν, στερεόν, ελατόν, ασημόλευκον αλκαλικόν μεταλλικόν χημικόν στοιχείον.
αεργίτες | χριστουγεννάρτς | καλαντάρτς | κούντουρος | μαρτς 00 καλανταρί | 00 καλανταρί | 00 καλανταρί
1000 ▁ le f t ▁k ü l t ü ri ▁ z o ğ ra f ik i ▁· ▁t i y at ro ▁· ▁ lo ğ o t e h n i a ▁· ▁m u si k i ▁· ▁a r h it e k t on ik i ▁· ▁ ğ li p t ik i ▁· ▁a th li t is m os ▁· ▁m y th o lo j i a ▁· ▁in an em a ▁· ▁p i it ik i
▁εςς ▁ατ ομ ικόν ▁α ρι θ μόν ▁00 ▁κι ▁ατ ομ ικόν ▁β άρ ος ▁00 ▁κι ▁ε ι δ ικόν ▁β άρ ος ▁0 , 000 . ▁εν ▁μ αλ α κόν , ▁στ ερ ε όν , ▁ελ ατ όν , ▁ασ ημ όλε υ κ ον ▁αλ κ αλ ικόν ▁με τα λλ ικόν ▁χ ημ ικόν ▁σ το ιχ είον .
▁αεργίτες ▁| ▁χριστουγεννάρτς ▁| ▁καλαντάρτς ▁| ▁κούντουρος ▁| ▁μαρτς ▁00 ▁καλανταρί ▁| ▁00 ▁καλανταρί ▁| ▁00 ▁καλανταρί
3000 ▁left ▁k ü l t ü ri ▁z o ğ ra f iki ▁· ▁t i y at ro ▁· ▁lo ğ ot e h n ia ▁· ▁m u si k i ▁· ▁ar h it e k ton iki ▁· ▁ğ li pt iki ▁· ▁a th li t is mos ▁· ▁m y th o lo j ia ▁· ▁in an em a ▁· ▁p i it iki
▁εςς ▁ατομικόν ▁αριθμόν ▁00 ▁κι ▁ατομικόν ▁βάρ ος ▁00 ▁κι ▁ε ιδ ικόν ▁βάρ ος ▁0, 000 . ▁εν ▁μαλα κόν , ▁στ ερ ε όν , ▁ελ ατόν , ▁ασ ημ όλε υκ ον ▁αλ καλ ικόν ▁μετα λλ ικόν ▁χημικόν ▁στοιχείον .
▁αεργίτες ▁| ▁χριστουγεννάρτς ▁| ▁καλαντάρτς ▁| ▁κούντουρος ▁| ▁μαρτς ▁00 ▁καλανταρί ▁| ▁00 ▁καλανταρί ▁| ▁00 ▁καλανταρί
5000 ▁left ▁k ü l t ü ri ▁z o ğ ra f iki ▁· ▁ti y at ro ▁· ▁lo ğ ot e hn ia ▁· ▁m u si k i ▁· ▁ar h it e k ton iki ▁· ▁ğ li pt iki ▁· ▁a th li t is mos ▁· ▁m y th o lo j ia ▁· ▁in an em a ▁· ▁p i it iki
▁εςς ▁ατομικόν ▁αριθμόν ▁00 ▁κι ▁ατομικόν ▁βάρος ▁00 ▁κι ▁ειδ ικόν ▁βάρος ▁0, 000 . ▁εν ▁μαλακόν , ▁στ ερε όν , ▁ελ ατόν , ▁ασ ημ όλε υκ ον ▁αλκαλ ικόν ▁μετα λλ ικόν ▁χημικόν ▁στοιχείον .
▁αεργίτες ▁| ▁χριστουγεννάρτς ▁| ▁καλαντάρτς ▁| ▁κούντουρος ▁| ▁μαρτς ▁00 ▁καλανταρί ▁| ▁00 ▁καλανταρί ▁| ▁00 ▁καλανταρί