读创/深圳商报记者 涂竞玉
近日,一则“微软投资近900亿开发ChatGPT”的消息走红网络,不少网友开始谈论ChatGPT的投入成本。国盛证券报告称,其背后的模型GPT-3训练一次的成本约为140万美元。
大AI模型和强大的计算能力是帮助OpenAI的关键。据了解,为了让GPT-3的性能更接近人类,OpenAI使用了45TB的数据和近1万亿个单词对其进行训练,大约是1351万个牛津词典。
所谓“大模型”,通常是在无标注的大数据集上,采用自监督学习的方法进行训练。之后在其他场景的应用中,开发者只需要对模型进行微调,或采用少量数据进行二次训练,就可以满足新应用场景的需要。
相关专家表示,模型参数越大,模型越复杂,预测越准确。现在业界主流AI生成工具的大模型都是千亿、万亿级的参数。“这些AI生成工具可以学习各行各业的各种数据。除了给出比小模型更准确的预测结果,还表现出惊人的泛化能力和迁移能力,输出内容质量更高,更智能。”
大模型及其高计算能力对应的是高资本消耗,据国盛证券报告《ChatGPT需要多少算力》估算,GPT-3训练一次的成本约为140万美元,对于一些更大的LLM(大型语言模型),训练成本介于200万美元至1200万美元之间。以ChatGPT在1月的独立访客平均数1300万计算,其对应芯片需求为3万多片英伟达A100 GPU,初始投入成本约为8亿美元,每日电费在5万美元左右。
如果将当前的ChatGPT部署到谷歌进行的每次搜索中,需要512820.51台A100 HGX服务器和总共4102568个A100 GPU,这些服务器和网络的总成本仅资本支出就超过1000亿美元。
此外,ChatGPT估算生成一条信息的成本约为1.3美分,是目前传统搜索引擎的三到四倍。
审读:谭录岗
搜索
复制