当前位置:首页|资讯

每天5分钟搞懂大模型的分词器tokenizer(六):BBPE

作者:真忒修斯之船发布时间:2024-10-31

BBPE是一种基于BPE的分词器,它是BPE的一种变种,是由Google Brain团队提出的。BBPE的全称是Byte-level BPE,它是一种基于字节级别的BPE分词器。...【查看原文】


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1