深刻理解BPE编码原理

(117) 2024-03-18 16:01:01

BPE(Byte Pair Encoding),即字节对编码,通过BPE编码后得到的subward词汇

1. 能有效减少词汇表的单词数量,

2. 其粒度在词与字符之间,能够较好的平衡未登录词或罕见词问题,从而提高神经机器翻译的质量。

友情链接:https://zhuanlan.zhihu.com/p/86965595

深刻理解BPE编码原理

原论文:https://arxiv.org/abs/1508.07909

THE END

发表回复