BPEmb: tcy

Tulu (tcy) subword embeddings

Vocab size	vocab	model	25 dim	50 dim	100 dim	200 dim	300 dim
1000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
3000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
5000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix
10000	vocab	model	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix	txt \| bin bokeh \| umap \| matrix

View Tulu subword embeddings in TensorFlow Projector

2-D UMAP plots

Embedding matrix plots

Training corpus sample, encoded with different BPE vocabulary sizes

Vocab size	tcywiki sample
original	ಕಲ್ಕುಡೆ ತುಳುನಾಡ್ದ ಭೂತೊಲೆಡ್ ಪ್ರಮುಖವಾಯಿ ಭೂತೊ. ಪ್ರದಾನವಾದ್ ಕಲ್ಕುಡೆ ಒರಿ ಶಿಲ್ಪಿ. ಇಂಬ್ಯನ್ ಬೀರ ಕಲ್ಕುಡೇಂದ್ಲಾ ಪನ್ಪೆರ್. ಇಂಬ್ಯನ ಅಮ್ಮೆ ಸಂಬು ಕಲ್ಕುಡೆ, ಮಲ್ಲ ಸಿಲ್ಪಿ. ಕ ಪೆಲಕಾಯಿಡ್ ಸಕ್ಕರೆದ ಅಂಶೊ, ಅನ್ನಾಂಗ, ಸಾರಜನಕ, ಪಿಷ್ಟ, ಖನಿಜಾಂಶ ಉಂಡು. ಉಂದು ಪಿತ್ತನಾಶಕ, ಬಲವರ್ಧಕ ಆದುಂಡು. ನೆಟ್ಟ್ ಉಪ್ಪುನ 'ಸಿ' ಸತ್ವ ವೈರಲ್- ಬ್ಯಾಕ್ಟೀರಿಯಾ ಸೋಂಕುಡ್ದು ರಕ ನಲಿಕೆದಕ್ಲ್ ಆಟಿ ತಿಂಗೊಲುಡು ಆಟಿಕಳೆಂಜನ ವೇಸೊ ಕಟ್ಟ್ದ್ ಕಳೆಂಜನ ಪಾರ್ತನೊ ಪಂಡೊಂದ್ ನಲಿತ್ತೊಂದ್ ಇಲ್ಲ್ಲ್ಲ್ ಬರ್ಪೆರ್.
1000	▁ಕಲ್ ಕು ಡೆ ▁ತುಳುನಾ ಡ್ದ ▁ಭೂ ತೊ ಲೆಡ್ ▁ಪ್ರ ಮು ಖ ವ ಾಯಿ ▁ಭೂ ತೊ . ▁ಪ್ರ ದ ಾನ ವಾದ್ ▁ಕಲ್ ಕು ಡೆ ▁ಒರಿ ▁ಶಿ ಲ್ ಪಿ . ▁ಇಂಬ ್ಯ ನ್ ▁ಬೀ ರ ▁ಕಲ್ ಕು ಡ ೇ ಂದ್ ಲಾ ▁ಪನ್ಪೆರ್ . ▁ಇಂಬ ್ಯ ನ ▁ಅ ಮ್ ಮೆ ▁ಸ ಂಬು ▁ಕಲ್ ಕು ಡೆ , ▁ಮಲ್ಲ ▁ಸಿ ಲ್ ಪಿ . ▁ಕ ▁ಪೆ ಲ ಕಾಯಿ ಡ್ ▁ಸ ಕ್ಕ ರೆದ ▁ಅ ಂಶ ೊ , ▁ಅ ನ್ನ ಾ ಂಗ , ▁ಸ ಾರ ಜನ ಕ , ▁ಪಿ ಷ್ಟ , ▁ಖ ನಿ ಜಾ ಂಶ ▁ಉಂಡು . ▁ಉಂದು ▁ಪಿ ತ್ತ ನಾ ಶ ಕ , ▁ಬಲ ವರ್ ಧ ಕ ▁ಆ ದುಂಡು . ▁ನೆ ಟ್ಟ್ ▁ಉಪ್ಪುನ ▁' ಸಿ ' ▁ಸ ತ್ ವ ▁ವೈ ರ ಲ್ - ▁ಬ್ಯಾ ಕ್ ಟ ೀ ರಿ ಯಾ ▁ಸೋ ಂಕು ಡ್ದು ▁ರ ಕ ▁ನಲಿಕೆ ದ ಕ್ ಲ್ ▁ಆ ಟಿ ▁ತಿಂಗೊಲು ಡು ▁ಆ ಟಿ ಕ ಳೆ ಂಜ ನ ▁ವ ೇ ಸೊ ▁ಕಟ್ಟ್ ದ್ ▁ಕ ಳೆ ಂಜ ನ ▁ಪ ಾರ್ ತ ನೊ ▁ಪಂಡ ೊ ಂದ್ ▁ನ ಲಿ ತ್ತ ೊ ಂದ್ ▁ಇಲ್ಲ್ ಲ್ಲ್ ▁ಬರ್ ಪೆರ್ .
3000	▁ಕಲ್ಕು ಡೆ ▁ತುಳುನಾಡ್ದ ▁ಭೂತೊ ಲೆಡ್ ▁ಪ್ರಮುಖ ವ ಾಯಿ ▁ಭೂತೊ . ▁ಪ್ರ ದಾನ ವಾದ್ ▁ಕಲ್ಕು ಡೆ ▁ಒರಿ ▁ಶಿ ಲ್ ಪಿ . ▁ಇಂಬ ್ಯ ನ್ ▁ಬೀ ರ ▁ಕಲ್ಕು ಡೇ ಂದ್ ಲಾ ▁ಪನ್ಪೆರ್ . ▁ಇಂಬ ್ಯ ನ ▁ಅ ಮ್ಮೆ ▁ಸ ಂಬು ▁ಕಲ್ಕು ಡೆ , ▁ಮಲ್ಲ ▁ಸಿ ಲ್ ಪಿ . ▁ಕ ▁ಪೆಲಕಾಯಿ ಡ್ ▁ಸ ಕ್ಕ ರೆದ ▁ಅಂಶ ೊ , ▁ಅ ನ್ನ ಾ ಂಗ , ▁ಸಾರ ಜನ ಕ , ▁ಪಿ ಷ್ಟ , ▁ಖ ನಿ ಜಾ ಂಶ ▁ಉಂಡು . ▁ಉಂದು ▁ಪಿ ತ್ತ ನಾ ಶ ಕ , ▁ಬಲ ವರ್ ಧ ಕ ▁ಆದುಂಡು . ▁ನೆಟ್ಟ್ ▁ಉಪ್ಪುನ ▁' ಸಿ ' ▁ಸ ತ್ವ ▁ವೈ ರಲ್ - ▁ಬ್ಯಾ ಕ್ ಟೀ ರಿಯಾ ▁ಸೋ ಂಕು ಡ್ದು ▁ರ ಕ ▁ನಲಿಕೆ ದ ಕ್ಲ್ ▁ಆಟಿ ▁ತಿಂಗೊಲುಡು ▁ಆಟಿ ಕ ಳೆ ಂಜ ನ ▁ವೇ ಸೊ ▁ಕಟ್ಟ್ದ್ ▁ಕಳೆ ಂಜ ನ ▁ಪಾರ್ ತ ನೊ ▁ಪಂಡ ೊ ಂದ್ ▁ನಲಿ ತ್ತೊ ಂದ್ ▁ಇಲ್ಲ್ ಲ್ಲ್ ▁ಬರ್ಪೆರ್ .
5000	▁ಕಲ್ಕುಡೆ ▁ತುಳುನಾಡ್ದ ▁ಭೂತೊ ಲೆಡ್ ▁ಪ್ರಮುಖ ವಾಯಿ ▁ಭೂತೊ . ▁ಪ್ರ ದಾನ ವಾದ್ ▁ಕಲ್ಕುಡೆ ▁ಒರಿ ▁ಶಿ ಲ್ ಪಿ . ▁ಇಂಬ ್ಯ ನ್ ▁ಬೀ ರ ▁ಕಲ್ಕು ಡೇ ಂದ್ಲಾ ▁ಪನ್ಪೆರ್ . ▁ಇಂಬ ್ಯ ನ ▁ಅಮ್ಮೆ ▁ಸ ಂಬು ▁ಕಲ್ಕುಡೆ , ▁ಮಲ್ಲ ▁ಸಿ ಲ್ ಪಿ . ▁ಕ ▁ಪೆಲಕಾಯಿ ಡ್ ▁ಸ ಕ್ಕ ರೆದ ▁ಅಂಶ ೊ , ▁ಅ ನ್ನಾ ಂಗ , ▁ಸಾರ ಜನಕ , ▁ಪಿ ಷ್ಟ , ▁ಖ ನಿ ಜಾ ಂಶ ▁ಉಂಡು . ▁ಉಂದು ▁ಪಿತ್ತ ನಾ ಶ ಕ , ▁ಬಲ ವರ್ ಧ ಕ ▁ಆದುಂಡು . ▁ನೆಟ್ಟ್ ▁ಉಪ್ಪುನ ▁' ಸಿ ' ▁ಸ ತ್ವ ▁ವೈ ರಲ್ - ▁ಬ್ಯಾ ಕ್ ಟೀ ರಿಯಾ ▁ಸೋಂಕು ಡ್ದು ▁ರ ಕ ▁ನಲಿಕೆದ ಕ್ಲ್ ▁ಆಟಿ ▁ತಿಂಗೊಲುಡು ▁ಆಟಿ ಕ ಳೆ ಂಜ ನ ▁ವೇ ಸೊ ▁ಕಟ್ಟ್ದ್ ▁ಕಳೆ ಂಜ ನ ▁ಪಾರ್ ತನೊ ▁ಪಂಡ ೊ ಂದ್ ▁ನಲಿ ತ್ತೊ ಂದ್ ▁ಇಲ್ಲ್ ಲ್ಲ್ ▁ಬರ್ಪೆರ್ .
10000	▁ಕಲ್ಕುಡೆ ▁ತುಳುನಾಡ್ದ ▁ಭೂತೊ ಲೆಡ್ ▁ಪ್ರಮುಖ ವಾಯಿ ▁ಭೂತೊ . ▁ಪ್ರ ದಾನ ವಾದ್ ▁ಕಲ್ಕುಡೆ ▁ಒರಿ ▁ಶಿಲ್ಪಿ . ▁ಇಂಬ್ಯ ನ್ ▁ಬೀರ ▁ಕಲ್ಕು ಡೇ ಂದ್ಲಾ ▁ಪನ್ಪೆರ್ . ▁ಇಂಬ್ಯ ನ ▁ಅಮ್ಮೆ ▁ಸ ಂಬು ▁ಕಲ್ಕುಡೆ , ▁ಮಲ್ಲ ▁ಸಿ ಲ್ಪಿ . ▁ಕ ▁ಪೆಲಕಾಯಿ ಡ್ ▁ಸ ಕ್ಕರೆದ ▁ಅಂಶೊ , ▁ಅ ನ್ನಾ ಂಗ , ▁ಸಾರ ಜನಕ , ▁ಪಿ ಷ್ಟ , ▁ಖ ನಿ ಜಾ ಂಶ ▁ಉಂಡು . ▁ಉಂದು ▁ಪಿತ್ತ ನಾ ಶಕ , ▁ಬಲ ವರ್ ಧಕ ▁ಆದುಂಡು . ▁ನೆಟ್ಟ್ ▁ಉಪ್ಪುನ ▁' ಸಿ ' ▁ಸ ತ್ವ ▁ವೈ ರಲ್ - ▁ಬ್ಯಾಕ್ಟೀ ರಿಯಾ ▁ಸೋಂಕು ಡ್ದು ▁ರ ಕ ▁ನಲಿಕೆದ ಕ್ಲ್ ▁ಆಟಿ ▁ತಿಂಗೊಲುಡು ▁ಆಟಿಕಳೆ ಂಜನ ▁ವೇಸೊ ▁ಕಟ್ಟ್ದ್ ▁ಕಳೆ ಂಜನ ▁ಪಾರ್ ತನೊ ▁ಪಂಡ ೊ ಂದ್ ▁ನಲಿ ತ್ತೊ ಂದ್ ▁ಇಲ್ಲ್ ಲ್ಲ್ ▁ಬರ್ಪೆರ್ .