当前位置:首页|资讯|OpenAI

每天5分钟搞懂大模型的分词器tokenizer(二):BPE (Byte-Pair Encoding)

作者:真忒修斯之船发布时间:2024-10-25

字节对编码 (BPE) 最初是作为一种压缩文本的算法开发的,后来被OpenAI 在预训练 GPT 模型时用于分词器(Tokenizer)...【查看原文】


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1