Picard (pcd) subword embeddings
| Vocab size | vocab | model | 25 dim | 50 dim | 100 dim | 200 dim | 300 dim |
|---|---|---|---|---|---|---|---|
| 1000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 3000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 5000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
| 10000 | vocab | model |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
txt |
bin
bokeh | umap | matrix |
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | pcdwiki sample |
|---|---|
| original | *buvons no seu *ch' pistolet *ch'baptème ed nicodème(ou ch'suisse un ribote) *chés filles ed camon *chés aveinture éd celestan *chés buveux *chés casq huell burnley howser, il est né l'00 d'octobe 0000 à gallatin (tennessee) pi défuncté au 0 éd jinvié 0000 (à 00 ans) à palm springs (étots-unis). ch'e * carnaval dunkèke, mi janvié à fin marche * enduro dech touquet, févrié * carnévale d’bailleul, févrié-marche * braderie lile, sectimbe * fêtes d’ ga |
| 1000 | ▁* b u v ons ▁no ▁s eu ▁* ch ' ▁p ist ole t ▁* ch ' b ap t è me ▁ed ▁n ic od è me ( ou ▁ch ' su isse ▁un ▁r ib ote ) ▁* chés ▁fil les ▁ed ▁c am on ▁* chés ▁av e int ure ▁éd ▁c el est an ▁* chés ▁b u v eux ▁* chés ▁c as q ▁hu ell ▁b ur n le y ▁h o w s er , ▁il ▁est ▁né ▁l ' 00 ▁d ' o ct o be ▁0000 ▁à ▁g all at in ▁( ten nes se e ) ▁pi ▁défuncté ▁au ▁0 ▁éd ▁j in v ié ▁0000 ▁( à ▁00 ▁ans ) ▁à ▁p al m ▁s pr ing s ▁( ét ots - un is ). ▁ch ' e ▁* ▁car n av al ▁d un k è ke , ▁m i ▁j an v ié ▁à ▁f in ▁mar che ▁* ▁en du ro ▁dech ▁t ou quet , ▁f év ri é ▁* ▁car né v ale ▁d ’ b aill eul , ▁f év ri é - mar che ▁* ▁bra d erie ▁l ile , ▁se ct imbe ▁* ▁f ê tes ▁d ’ ▁g a |
| 3000 | ▁* b uv ons ▁no ▁s eu ▁* ch ' ▁p ist ole t ▁* ch ' bapt ème ▁ed ▁n ic od ème ( ou ▁ch ' su isse ▁un ▁r ib ote ) ▁* chés ▁fil les ▁ed ▁cam on ▁* chés ▁av e int ure ▁éd ▁c el est an ▁* chés ▁b uv eux ▁* chés ▁cas q ▁hu ell ▁bur n ley ▁h ow s er , ▁il ▁est ▁né ▁l '00 ▁d ' octobe ▁0000 ▁à ▁gall at in ▁( ten nes se e ) ▁pi ▁défuncté ▁au ▁0 ▁éd ▁jin vié ▁0000 ▁( à ▁00 ▁ans ) ▁à ▁pal m ▁s pr ing s ▁( ét ots - unis ). ▁ch ' e ▁* ▁car n av al ▁d unk èke , ▁mi ▁janvié ▁à ▁fin ▁marche ▁* ▁en du ro ▁dech ▁tou quet , ▁févrié ▁* ▁car né vale ▁d ’ b aill eul , ▁févrié - mar che ▁* ▁bra d erie ▁lile , ▁sectimbe ▁* ▁f ê tes ▁d ’ ▁g a |
| 5000 | ▁* b uv ons ▁no ▁seu ▁* ch ' ▁p ist ole t ▁* ch ' bapt ème ▁ed ▁n ic od ème ( ou ▁ch ' su isse ▁un ▁r ib ote ) ▁* chés ▁filles ▁ed ▁cam on ▁* chés ▁av e int ure ▁éd ▁cel est an ▁* chés ▁b uv eux ▁* chés ▁cas q ▁hu ell ▁bur n ley ▁h ow ser , ▁il ▁est ▁né ▁l '00 ▁d ' octobe ▁0000 ▁à ▁gall at in ▁( ten nes se e ) ▁pi ▁défuncté ▁au ▁0 ▁éd ▁jinvié ▁0000 ▁( à ▁00 ▁ans ) ▁à ▁pal m ▁s pr ings ▁( ét ots - unis ). ▁ch ' e ▁* ▁carn aval ▁dunk èke , ▁mi ▁janvié ▁à ▁fin ▁marche ▁* ▁en du ro ▁dech ▁tou quet , ▁févrié ▁* ▁car né vale ▁d ’ baill eul , ▁févrié - marche ▁* ▁bra d erie ▁lile , ▁sectimbe ▁* ▁f êtes ▁d ’ ▁ga |
| 10000 | ▁* b uv ons ▁no ▁seu ▁* ch ' ▁p ist ole t ▁* ch ' bapt ème ▁ed ▁nic od ème ( ou ▁ch ' su isse ▁un ▁r ib ote ) ▁* chés ▁filles ▁ed ▁cam on ▁* chés ▁ave inture ▁éd ▁cel estan ▁* chés ▁buv eux ▁* chés ▁cas q ▁hu ell ▁bur n ley ▁how ser , ▁il ▁est ▁né ▁l '00 ▁d ' octobe ▁0000 ▁à ▁gall at in ▁( ten nes see ) ▁pi ▁défuncté ▁au ▁0 ▁éd ▁jinvié ▁0000 ▁( à ▁00 ▁ans ) ▁à ▁pal m ▁s pr ings ▁( étots - unis ). ▁ch ' e ▁* ▁carnaval ▁dunkèke , ▁mi ▁janvié ▁à ▁fin ▁marche ▁* ▁en du ro ▁dech ▁touquet , ▁févrié ▁* ▁car né vale ▁d ’ baill eul , ▁févrié - marche ▁* ▁bra d erie ▁lile , ▁sectimbe ▁* ▁f êtes ▁d ’ ▁ga |