微软为ChatGPT打造专用超算！砸下几亿美元，上万张英伟达A100打造
萧箫 发自 凹非寺
量子位 | 公众号 QbitAI
微软砸下大几亿美元，专门为训练ChatGPT打造了一台超算——
上万张英伟达A100芯片打造，甚至专门为此调整了服务器架构，只为给ChatGPT和新必应AI提供更好的算力。
△图源：微软
不仅如此，微软还在Azure的60多个数据中心部署了几十万张GPU，用于ChatGPT的推理。
有网友感慨：果然还是得靠钱生钱啊~
还有网友调侃，微软数据中心服务器终于多了个新用途：
虽然不是真的，不过想象微软数据中心的某些服务器用途，可能一半是Xbox的xCloud，另一半是ChatGPT。
微软为什么打造这个超算？
事实上，这台超算并非最近才开始打造。
据微软表示，他们给OpenAI提供这台超算已经有3年之久，而ChatGPT也正是基于这台超算提供的算力训练的。
这是因为，OpenAI在最初商量与微软合作时，曾经就算力方面的事情进行过协商。
OpenAI认为，如果微软想给自己提供算力，就必须在Azure云计算平台上“腾出”一部分巨大的算力单独给它们使用，且确保它们不与Azure提供的其他服务产生冲突。
微软答应了这一条件，特意给OpenAI提供了一台超算，用于各种大模型训练。
△图源：微软
当然，微软也不是白白给OpenAI提供超算服务的，背后肯定有自己的考量。
其一，吸引更多企业来使用Azure训练自己的大模型。微软执行副总裁Scott Guthrie表示：
虽然它是OpenAI的定制版，但同样具备某种通用性，任何企业都可以基于这种方式来训练自己的大语言模型。
其二，直接在Azure中提供OpenAI模型服务 （Azure OpenAI Service）。
此前包括GPT-3、Codex和DALL·E 2等模型，都已经接入Azure。
至于纳德拉1月份立的“要把ChatGPT加入Azure服务”flag，目前也已经实现。
官网还特意给ChatGPT相关服务贴了个高亮标签：
这波属实是微软用ChatGPT，再次宣传了一波自己的云服务 （手动狗头）。
当然，基于英伟达A100打造的超算也不是微软Azure的最新技术。
据微软表示，他们还将基于英伟达H100和网络技术，推出Azure最新的AI虚拟机产品。
国内ChatGPT云厂商现状？
那么，国内云厂商是否会因为ChatGPT被带动起来一波？
事情并不如想象中简单。
目前来看，国内公开表示拥有1万张英伟达A100的企业只有 幻方量化。
据幻方官网显示，2022年3月由于需要发展量化金融业务，他们构建了一个名为萤火二号的AI集群，拥有一万张英伟达A100。
至于其他企业，据《财经十一人》介绍，国内GPU持有量超过1万张的企业不超过5家，即使规模最大的企业也不超过5万枚，而且这里面有不少都是英伟达中低端数据中心芯片。
显然，相比微软能给ChatGPT投入大量算力、或是像Facebook和谷歌一样动辄能采购几千上万张GPU，算力是国内厂商做ChatGPT的另一大难点。
在以ChatGPT为代表的大模型技术上，软硬件都还有不少难关要攻克。
— 完—
3月29日「中国AIGC产业峰会」
抢票开启
「中国AIGC产业峰会」定档3月29日，线下会场抢票开启！
百度 袁佛玉、智源 林咏华、澜舟科技 周明、小冰 徐元春、科大讯飞 高建清、启元世界 袁泉、云舶科技 梅嵩、特赞 王喆、微软 关玮雅、源码资本 黄云刚、元语智能 朱雷、无界Ai 马千里、Tiamat 青柑、峰瑞资本 陈石等来自产学研界大咖嘉宾，还有重磅嘉宾陆续确认中。
扫描下方二维码，报名峰会线下会场啦～
点这里 👇关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~