Northern Frisian (frr) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 10000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 25000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | frrwiki sample |
|---|---|
| original | der unterzeichnete verein für heimatkunde auf der insel sylt wirbt um unterstützung bei allen, die unserer insel interesse und liebe entgegenbringen. roskilde as auer det ferbinjang mecine (medium cities in europe) uk ferbünjen mä * joensuu uun finlun, * linköping uun sweeden an * tønsberg uun norwe di gregoriaans kalender woort daalang aueraal üüb a welt brükt. hi begant mä det juar, huar jiises krast bäären wurd, an hää san nööm efter poop grego |
| 1000 | ▁der ▁un ter z ei ch n et e ▁ver e in ▁f ür ▁h ei m at k und e ▁au f ▁der ▁in sel ▁s yl t ▁w ir b t ▁u m ▁un ter st üt z ung ▁b ei ▁al l en , ▁die ▁un s er er ▁in sel ▁in ter es se ▁und ▁l ie be ▁en t g eg en b ring en . ▁ro sk il de ▁as ▁auer ▁det ▁fer b inj ang ▁me c ine ▁( m ed ium ▁c it i es ▁in ▁eur op e ) ▁uk ▁fer b ünj en ▁mä ▁* ▁jo ens uu ▁uun ▁f in lun , ▁* ▁l in k ö p ing ▁uun ▁sw ee den ▁an ▁* ▁t ø n s ber g ▁uun ▁n or we ▁di ▁gre g ori aans ▁k alen der ▁woort ▁da alang ▁auer aal ▁üüb ▁a ▁w elt ▁brükt . ▁hi ▁beg ant ▁mä ▁det ▁juar , ▁huar ▁j iis es ▁k ra st ▁b äär en ▁wurd , ▁an ▁hää ▁san ▁nööm ▁efter ▁p oop ▁gre g o |
| 3000 | ▁der ▁unter zei chn ete ▁ver ein ▁für ▁h ei mat k und e ▁auf ▁der ▁insel ▁s ylt ▁wir b t ▁um ▁unter st üt z ung ▁bei ▁al len , ▁die ▁un ser er ▁insel ▁inter es se ▁und ▁l ie be ▁ent g egen b ring en . ▁ro sk il de ▁as ▁auer ▁det ▁ferb inj ang ▁me c ine ▁( m ed ium ▁c iti es ▁in ▁europ e ) ▁uk ▁ferb ünjen ▁mä ▁* ▁jo ens uu ▁uun ▁fin lun , ▁* ▁l ink ö p ing ▁uun ▁sw eeden ▁an ▁* ▁t øn s berg ▁uun ▁nor we ▁di ▁gregoriaans ▁kalender ▁woort ▁daalang ▁auer aal ▁üüb ▁a ▁welt ▁brükt . ▁hi ▁beg ant ▁mä ▁det ▁juar , ▁huar ▁j iis es ▁kra st ▁b äären ▁wurd , ▁an ▁hää ▁san ▁nööm ▁efter ▁p oop ▁gre go |
| 5000 | ▁der ▁unter zeichn ete ▁ver ein ▁für ▁hei mat k und e ▁auf ▁der ▁insel ▁sylt ▁wir b t ▁um ▁unter st üt z ung ▁bei ▁al len , ▁die ▁un ser er ▁insel ▁inter es se ▁und ▁lie be ▁ent g egen b ring en . ▁ro sk il de ▁as ▁auer ▁det ▁ferbinjang ▁me c ine ▁( med ium ▁c iti es ▁in ▁europ e ) ▁uk ▁ferbünjen ▁mä ▁* ▁jo ens uu ▁uun ▁finlun , ▁* ▁l ink ö p ing ▁uun ▁sweeden ▁an ▁* ▁t øn s berg ▁uun ▁nor we ▁di ▁gregoriaans ▁kalender ▁woort ▁daalang ▁auer aal ▁üüb ▁a ▁welt ▁brükt . ▁hi ▁begant ▁mä ▁det ▁juar , ▁huar ▁j iis es ▁krast ▁bäären ▁wurd , ▁an ▁hää ▁san ▁nööm ▁efter ▁p oop ▁gre go |
| 10000 | ▁der ▁unter zeichn ete ▁verein ▁für ▁heimat kunde ▁auf ▁der ▁insel ▁sylt ▁wir b t ▁um ▁unter st üt zung ▁bei ▁al len , ▁die ▁un ser er ▁insel ▁inter es se ▁und ▁lie be ▁ent g egen b ringen . ▁ro sk il de ▁as ▁auer ▁det ▁ferbinjang ▁me c ine ▁( med ium ▁c iti es ▁in ▁europ e ) ▁uk ▁ferbünjen ▁mä ▁* ▁jo ens uu ▁uun ▁finlun , ▁* ▁link ö ping ▁uun ▁sweeden ▁an ▁* ▁t øn s berg ▁uun ▁nor we ▁di ▁gregoriaans ▁kalender ▁woort ▁daalang ▁aueraal ▁üüb ▁a ▁welt ▁brükt . ▁hi ▁begant ▁mä ▁det ▁juar , ▁huar ▁jiises ▁krast ▁bäären ▁wurd , ▁an ▁hää ▁san ▁nööm ▁efter ▁p oop ▁gre go |
| 25000 | ▁der ▁unter zeichn ete ▁verein ▁für ▁heimat kunde ▁auf ▁der ▁insel ▁sylt ▁wir bt ▁um ▁unterstützung ▁bei ▁allen , ▁die ▁unserer ▁insel ▁interes se ▁und ▁liebe ▁ent g egen b ringen . ▁roskilde ▁as ▁auer ▁det ▁ferbinjang ▁me c ine ▁( med ium ▁c ities ▁in ▁europe ) ▁uk ▁ferbünjen ▁mä ▁* ▁jo ens uu ▁uun ▁finlun , ▁* ▁link ö ping ▁uun ▁sweeden ▁an ▁* ▁t øn sberg ▁uun ▁nor we ▁di ▁gregoriaans ▁kalender ▁woort ▁daalang ▁aueraal ▁üüb ▁a ▁welt ▁brükt . ▁hi ▁begant ▁mä ▁det ▁juar , ▁huar ▁jiises ▁krast ▁bäären ▁wurd , ▁an ▁hää ▁san ▁nööm ▁efter ▁poop ▁gre go |