Training corpus sample, encoded with different BPE vocabulary sizes
| Vocab size | ganwiki sample |
|---|---|
| original | national park foundation, the congressionally chartered national charitable partner of america's national parks * 此外，喺北韓、越南、苏联同东欧社会主义国家嘅一啲类似歌曲亦被称为红色經典歌曲。而蘇聯解體同東歐劇變後，由於共黨時代終結，紅色歌曲亦隨之衰落，除俄羅斯之外嘅國家已經好少聽到紅色歌曲嘅公開演唱同發行；而俄國紅色歌曲嘅演唱場合多半紀念衛國戰爭（第二次世界大戰）勝利，俄國亞歷山德羅夫紅旗歌舞團會演唱幾首紀念 夫天地一氣也，萬民一姓也，政教一體也。若清若濁者，為善為惡者，好仁好義者，固有不同。余觀陳氏之宗，清而純，善而和，義而正；才者不矜，技者不炫，清純者也；富而不驕，貧而不怨，善和者也；有勇不犯，有剛不折，義正者也。吾以為士大夫之族，未有若陳宗者也。謂其敦堯舜之道，循湯武之法，受文王之化，承召公之訓歟！ |
| 10000 | ▁national ▁park ▁f ound ation , ▁the ▁c ong r ess ion all y ▁char ter ed ▁national ▁char it able ▁part n er ▁of ▁a mer ica ' s ▁national ▁park s ▁* ▁ 此 外 , 喺 北 韓 、 越南 、 苏 联 同 东 欧 社 会 主 义 国家 嘅 一 啲 类 似 歌曲 亦 被 称 为 红 色 經典 歌曲 。 而 蘇聯 解 體 同 東 歐 劇 變 後 , 由於 共 黨 時代 終結 , 紅色 歌曲 亦 隨 之 衰 落 , 除 俄羅斯 之外 嘅 國家 已經 好 少 聽 到 紅色 歌曲 嘅 公 開 演 唱 同 發行 ; 而 俄國 紅色 歌曲 嘅 演 唱 場合 多 半 紀念 衛 國 戰爭 ( 第二次世界大戰 ) 勝利 , 俄國 亞 歷山 德 羅 夫 紅 旗 歌 舞 團 會 演 唱 幾 首 紀念 ▁ 夫 天地 一 氣 也 , 萬 民 一 姓 也 , 政 教 一 體 也 。 若 清 若 濁 者 , 為 善 為 惡 者 , 好 仁 好 義 者 , 固 有 不同 。 余 觀 陳氏 之 宗 , 清 而 純 , 善 而 和 , 義 而 正 ; 才 者 不 矜 , 技 者 不 炫 , 清 純 者也 ; 富 而不 驕 , 貧 而不 怨 , 善 和 者也 ; 有 勇 不 犯 , 有 剛 不 折 , 義 正 者也 。 吾 以為 士 大夫 之 族 , 未有 若 陳 宗 者也 。 謂 其 敦 堯 舜 之道 , 循 湯 武 之 法 , 受 文 王之 化 , 承 召 公 之 訓 歟 ! |