当前位置:首页|资讯|大语言模型|OpenAI

零基础入门AI:1 token ~= 3/4 words?3分钟理解大语言模型分词

作者:小天一阁发布时间:2024-03-13

1个token究竟是多少? 按Openai 的估算,1 token ~= 3/4 words,100个token大约是75个单词。 输入的文本是如何被分解为 token 的呢?...【查看原文】


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1