Latin (la) subword embeddings
Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | lawiki sample |
|---|---|
| original | * 00 martii - isabella martínez de perón praeses argentinae militibus deposita est, eius successor georgius raphael videla generalis factus est. * 0 - andrius velička, pedilusor lituanicus. * 00 - matthaeus upson, pedilusor britannicus. * 00 - catharina hudson, actrix americana. * 00 - ludovicu insula meridiana (anglice ''south island'' ; maorice ''te wai-pounamu'') maxima terrae massa est et iuxta suam longitudinem alpibus meridianis dividit |
| 1000 | ▁* ▁00 ▁mart ii ▁- ▁is ab ell a ▁mart í ne z ▁de ▁per ó n ▁praes es ▁ar g ent inae ▁mil it ibus ▁d ep os ita ▁est , ▁eius ▁s uc c ess or ▁ge org ius ▁r aph ae l ▁v id el a ▁gen er alis ▁fac tus ▁est . ▁* ▁0 ▁- ▁and r ius ▁vel i č k a , ▁p ed il us or ▁lit u an icus . ▁* ▁00 ▁- ▁m at th ae us ▁ up s on , ▁p ed il us or ▁britann icus . ▁* ▁00 ▁- ▁cath ar ina ▁h ud s on , ▁ac tr ix ▁americ ana . ▁* ▁00 ▁- ▁lud ov ic u ▁ins ula ▁merid iana ▁( an gl ice ▁'' s o ut h ▁is l and '' ▁ ; ▁ma or ice ▁'' te ▁w a i - p o un am u '') ▁max ima ▁terr ae ▁m ass a ▁est ▁et ▁i ux ta ▁su am ▁l ong itudinem ▁al p ibus ▁merid ian is ▁d iv id it |
| 3000 | ▁* ▁00 ▁martii ▁- ▁is ab ella ▁mart í ne z ▁de ▁per ó n ▁praeses ▁argent inae ▁milit ibus ▁dep os ita ▁est , ▁eius ▁succ essor ▁georgius ▁r aph ael ▁vid ela ▁generalis ▁factus ▁est . ▁* ▁0 ▁- ▁and r ius ▁vel i č ka , ▁pedilusor ▁lit u an icus . ▁* ▁00 ▁- ▁mat th ae us ▁ up son , ▁pedilusor ▁britannicus . ▁* ▁00 ▁- ▁cath ar ina ▁h ud son , ▁actrix ▁americana . ▁* ▁00 ▁- ▁ludov ic u ▁insula ▁merid iana ▁( anglice ▁'' s o uth ▁is land '' ▁; ▁ma or ice ▁'' te ▁w ai - po un am u '') ▁maxima ▁terrae ▁mass a ▁est ▁et ▁iuxta ▁suam ▁long itudinem ▁alpibus ▁merid ian is ▁div idit |
| 5000 | ▁* ▁00 ▁martii ▁- ▁is ab ella ▁mart í ne z ▁de ▁per ón ▁praeses ▁argent inae ▁milit ibus ▁dep os ita ▁est , ▁eius ▁successor ▁georgius ▁r aph ael ▁vid ela ▁generalis ▁factus ▁est . ▁* ▁0 ▁- ▁and r ius ▁vel i č ka , ▁pedilusor ▁lit u an icus . ▁* ▁00 ▁- ▁matth aeus ▁up son , ▁pedilusor ▁britannicus . ▁* ▁00 ▁- ▁cath arina ▁h ud son , ▁actrix ▁americana . ▁* ▁00 ▁- ▁ludov ic u ▁insula ▁merid iana ▁( anglice ▁'' so uth ▁island '' ▁; ▁ma or ice ▁'' te ▁w ai - po un am u '') ▁maxima ▁terrae ▁mass a ▁est ▁et ▁iuxta ▁suam ▁long itudinem ▁alpibus ▁merid ianis ▁div idit |
| 10000 | ▁* ▁00 ▁martii ▁- ▁isab ella ▁mart í ne z ▁de ▁per ón ▁praeses ▁argent inae ▁militibus ▁depos ita ▁est , ▁eius ▁successor ▁georgius ▁raph ael ▁vid ela ▁generalis ▁factus ▁est . ▁* ▁0 ▁- ▁and rius ▁vel i č ka , ▁pedilusor ▁lit uan icus . ▁* ▁00 ▁- ▁matth aeus ▁up son , ▁pedilusor ▁britannicus . ▁* ▁00 ▁- ▁catharina ▁hud son , ▁actrix ▁americana . ▁* ▁00 ▁- ▁ludovic u ▁insula ▁meridiana ▁( anglice ▁'' so uth ▁island '' ▁; ▁ma or ice ▁'' te ▁w ai - po un am u '') ▁maxima ▁terrae ▁massa ▁est ▁et ▁iuxta ▁suam ▁long itudinem ▁alpibus ▁merid ianis ▁div idit |
| 25000 | ▁* ▁00 ▁martii ▁- ▁isabella ▁martínez ▁de ▁per ón ▁praeses ▁argentinae ▁militibus ▁deposita ▁est , ▁eius ▁successor ▁georgius ▁raphael ▁vid ela ▁generalis ▁factus ▁est . ▁* ▁0 ▁- ▁and rius ▁vel ič ka , ▁pedilusor ▁lit uan icus . ▁* ▁00 ▁- ▁matthaeus ▁up son , ▁pedilusor ▁britannicus . ▁* ▁00 ▁- ▁catharina ▁hudson , ▁actrix ▁americana . ▁* ▁00 ▁- ▁ludovic u ▁insula ▁meridiana ▁( anglice ▁'' south ▁island '' ▁; ▁ma or ice ▁'' te ▁w ai - po un am u '') ▁maxima ▁terrae ▁massa ▁est ▁et ▁iuxta ▁suam ▁longitudinem ▁alpibus ▁merid ianis ▁dividit |
| 50000 | ▁* ▁00 ▁martii ▁- ▁isabella ▁martínez ▁de ▁per ón ▁praeses ▁argentinae ▁militibus ▁deposita ▁est , ▁eius ▁successor ▁georgius ▁raphael ▁vid ela ▁generalis ▁factus ▁est . ▁* ▁0 ▁- ▁and rius ▁vel ič ka , ▁pedilusor ▁lituanicus . ▁* ▁00 ▁- ▁matthaeus ▁up son , ▁pedilusor ▁britannicus . ▁* ▁00 ▁- ▁catharina ▁hudson , ▁actrix ▁americana . ▁* ▁00 ▁- ▁ludovic u ▁insula ▁meridiana ▁( anglice ▁'' south ▁island '' ▁; ▁maor ice ▁'' te ▁w ai - po un amu '') ▁maxima ▁terrae ▁massa ▁est ▁et ▁iuxta ▁suam ▁longitudinem ▁alpibus ▁meridianis ▁dividit |
| 100000 | ▁* ▁00 ▁martii ▁- ▁isabella ▁martínez ▁de ▁perón ▁praeses ▁argentinae ▁militibus ▁deposita ▁est , ▁eius ▁successor ▁georgius ▁raphael ▁vid ela ▁generalis ▁factus ▁est . ▁* ▁0 ▁- ▁and rius ▁vel ička , ▁pedilusor ▁lituanicus . ▁* ▁00 ▁- ▁matthaeus ▁up son , ▁pedilusor ▁britannicus . ▁* ▁00 ▁- ▁catharina ▁hudson , ▁actrix ▁americana . ▁* ▁00 ▁- ▁ludovic u ▁insula ▁meridiana ▁( anglice ▁'' south ▁island '' ▁; ▁maorice ▁'' te ▁w ai - po un amu '') ▁maxima ▁terrae ▁massa ▁est ▁et ▁iuxta ▁suam ▁longitudinem ▁alpibus ▁meridianis ▁dividit |