当前位置:首页|资讯|OpenAI

使用 tiktoken 计算 token 数量

作者:wffeige发布时间:2024-04-25

什么是tiktoken iktoken是OpenAI开发的一种BPE分词器。 给定一段文本字符串(例如,"tiktoken is great!")和一种编码方式(例如,"cl100k_base"),分...【查看原文】


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1