当前位置:首页|资讯|ChatGPT

AI算力专题报告:Chatgpt需要多少算力(附下载)

作者:远见科技社发布时间:2023-11-14

原标题:AI算力专题报告:Chatgpt需要多少算力(附下载)

今天分享的是:AI算力专题报告:Chatgpt需要多少算力(报告出品方:国盛证券)

报告共计:7页

海量/电子版报告/来源公众号: 优选报告库

访问算力: 初始投入近十亿美元,单日电费数万美元

Chatgpt 月活过亿,访问量爆发式增长。根据 Similarweb 的数据,2023年1月,平均每天约有 1300 万独立访客使用 ChatGPT,是 2022年 12 月份的两倍多: 累计用户超1亿,创下了互联网最快破亿应用的记录,超过了之前 TikTok9 个月破亿的速度,

访问阶段的算力每天发生,成为衡量 ChatGPT 投入的关键指标:

1) 计算假设:

英伟达 A100: 根据 OneFlow 报道,目前,NVIDIA A100 是 AWS 最具成本效益的GPU 选择。

英伟达DGXA100服务器:单机搭载8片A100 GPU,AI算力性能约为5 PetaFLOP/s,单机最大功率约为 6.5kw,售价约为 19.9 万美元/台。

标准机柜: 19 英寸、42U。单个 DGXA100 服务器尺寸约为 6U,则标准机柜可放下约7个DGXA100 服务器,则,单个标准机柜的成本为 140 万美元,56个A100GPU算力性能为 35 PetaFLOP/s、最大功率 45.5kw。

2) 芯片需求量:

每日咨询量: 根据 Similarweb 数据,截至2023年 1月底,chatopenai.com 网站(即 ChatGPT 官网)在 2023/1/27-2023/2/3 这一周吸引的每日访客数量高达2500万,假设以目前的稳定状态,每日每用户提问约 10 个问题,则每日约有 2.5亿次咨询量。

A100 运行小时:假设每个问题平均 30 字,单个字在 A100 GPU 上约消耗 350ms,则一天共需消耗 729,167 个 A100 GPU 运行小时A100 需求量: 对应每天需要 729,167/24=30,382 片英伟达 A100 GPU 同时计算,才可满足当前 ChatGPT 的访问量。

报告共计:7页

海量/电子版报告/来源公众号: 优选报告库


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1