Pfaelzisch (pfl) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 10000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 25000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | pflwiki sample |
|---|---|
| original | schnellnavigation: a b c d e f g h i j k l m n o p q r s t u v w x y z sonstige diakritika und de gemainderad aus 00 midgliedern iss am 0. juni 0000 gewähld worre unn hot en ehrenamdlische ordsbirgamaischda als vorsidz. de aafang vum daitsche baurekriech in de linksrhainische palz werd durch d bildung vum nußdorfer haufe bai landach am 00. april 0000 markiert. d pälze |
| 1000 | ▁schn ell na v ig ation : ▁a ▁b ▁c ▁d ▁e ▁f ▁g ▁h ▁i ▁j ▁k ▁l ▁m ▁n ▁o ▁p ▁ q ▁r ▁s ▁t ▁u ▁v ▁w ▁ x ▁ y ▁z ▁s on st i ge ▁di a kr it ik a ▁und ▁de ▁gem ain der ad ▁aus ▁00 ▁mid gl ieder n ▁iss ▁am ▁0. ▁j un i ▁0000 ▁ge wä hl d ▁worre ▁unn ▁hot ▁en ▁e hr en am d lische ▁ord s b ir g am aisch da ▁als ▁vor s idz . ▁de ▁a af ang ▁vum ▁daitsche ▁bau re kr iech ▁in ▁de ▁l in ks r h ain ische ▁palz ▁werd ▁dur ch ▁d ▁b ild ung ▁vum ▁n uß d orf er ▁hau fe ▁bai ▁land ach ▁am ▁00. ▁a pr il ▁0000 ▁mar k iert . ▁d ▁p äl ze |
| 3000 | ▁schnell na vig ation : ▁a ▁b ▁c ▁d ▁e ▁f ▁g ▁h ▁i ▁j ▁k ▁l ▁m ▁n ▁o ▁p ▁q ▁r ▁s ▁t ▁u ▁v ▁w ▁x ▁y ▁z ▁son st ige ▁di a kr it ika ▁und ▁de ▁gem ain der ad ▁aus ▁00 ▁mid glieder n ▁iss ▁am ▁0. ▁juni ▁0000 ▁gewä hld ▁worre ▁unn ▁hot ▁en ▁ehr en amd lische ▁ords bir gamaischda ▁als ▁vors idz . ▁de ▁a af ang ▁vum ▁daitsche ▁bau re kriech ▁in ▁de ▁lin ks r hain ische ▁palz ▁werd ▁durch ▁d ▁bild ung ▁vum ▁n uß dorf er ▁hau fe ▁bai ▁land ach ▁am ▁00. ▁a pr il ▁0000 ▁mar k iert . ▁d ▁p äl ze |
| 5000 | ▁schnell navigation : ▁a ▁b ▁c ▁d ▁e ▁f ▁g ▁h ▁i ▁j ▁k ▁l ▁m ▁n ▁o ▁p ▁q ▁r ▁s ▁t ▁u ▁v ▁w ▁x ▁y ▁z ▁sonstige ▁diakritika ▁und ▁de ▁gem ain derad ▁aus ▁00 ▁mid glieder n ▁iss ▁am ▁0. ▁juni ▁0000 ▁gewähld ▁worre ▁unn ▁hot ▁en ▁ehr en amd lische ▁ords bir gamaischda ▁als ▁vors idz . ▁de ▁a af ang ▁vum ▁daitsche ▁baure kriech ▁in ▁de ▁links r hain ische ▁palz ▁werd ▁durch ▁d ▁bild ung ▁vum ▁n uß dorf er ▁haufe ▁bai ▁landach ▁am ▁00. ▁april ▁0000 ▁mark iert . ▁d ▁p äl ze |
| 10000 | ▁schnell navigation : ▁a ▁b ▁c ▁d ▁e ▁f ▁g ▁h ▁i ▁j ▁k ▁l ▁m ▁n ▁o ▁p ▁q ▁r ▁s ▁t ▁u ▁v ▁w ▁x ▁y ▁z ▁sonstige ▁diakritika ▁und ▁de ▁gemainderad ▁aus ▁00 ▁midglieder n ▁iss ▁am ▁0. ▁juni ▁0000 ▁gewähld ▁worre ▁unn ▁hot ▁en ▁ehren amdlische ▁ords birgamaischda ▁als ▁vorsidz . ▁de ▁aafang ▁vum ▁daitsche ▁baure kriech ▁in ▁de ▁links rhain ische ▁palz ▁werd ▁durch ▁d ▁bildung ▁vum ▁nuß dorf er ▁haufe ▁bai ▁landach ▁am ▁00. ▁april ▁0000 ▁mark iert . ▁d ▁p äl ze |
| 25000 | ▁schnell navigation : ▁a ▁b ▁c ▁d ▁e ▁f ▁g ▁h ▁i ▁j ▁k ▁l ▁m ▁n ▁o ▁p ▁q ▁r ▁s ▁t ▁u ▁v ▁w ▁x ▁y ▁z ▁sonstige ▁diakritika ▁und ▁de ▁gemainderad ▁aus ▁00 ▁midglieder n ▁iss ▁am ▁0. ▁juni ▁0000 ▁gewähld ▁worre ▁unn ▁hot ▁en ▁ehrenamdlische ▁ords birgamaischda ▁als ▁vorsidz . ▁de ▁aafang ▁vum ▁daitsche ▁baurekriech ▁in ▁de ▁links rhainische ▁palz ▁werd ▁durch ▁d ▁bildung ▁vum ▁nußdorf er ▁haufe ▁bai ▁landach ▁am ▁00. ▁april ▁0000 ▁mark iert . ▁d ▁p äl ze |