深刻理解BPE编码原理

BPE（Byte Pair Encoding），即字节对编码，通过BPE编码后得到的subward词汇

1. 能有效减少词汇表的单词数量，

2. 其粒度在词与字符之间，能够较好的平衡未登录词或罕见词问题，从而提高神经机器翻译的质量。

友情链接：https://zhuanlan.zhihu.com/p/86965595

深刻理解BPE编码原理

原论文：https://arxiv.org/abs/1508.07909