从ChatGPT到ChatGPU，砺算解决大模型算力难题

原标题：从ChatGPT到ChatGPU，砺算解决大模型算力难题

最近ChatGPT和大模型的爆发，使得作为底层算力的提供商英伟达成为聚光灯中心。英伟达GTC大会一开，分析师纷纷调高英伟达股价预期，并称英伟达是生成式AI时代的王者，由此带来的新的商业机会“非常非常大”。

ChatGPT，AI的IPhone时刻，是移动互联网之后的范式革命

黄仁勋在过去几个月内，多次发言，认为AI的iPhone时刻已经到来。所谓的iPhone时刻，至少包含以下几个方面的内涵：

市场规模的大幅增加。

手机从功能机（feature phone）到智能机(smart phone)的飞跃，手机本身的售价增加了十倍以上，而带来的基于智能手机的新业态规模是万倍的增长。

应用的普惠化。

如同智能手机成为日常生活的必备产品一样，生成式AI将会伴随普通民众可以享受的技术。可能会有很多类似于iOS开发者一样，可以用几个月就开发出爆款的基于大模型的生成式AI的应用。前两天OpenAI宣布在ChatGPT中实现了对插件的初始支持，帮助ChatGPT访问最新信息、运行计算或使用第三方服务，亲手搭建起了“App Store”。

对从云到端的算力需求几何式增长。

iphone开启了真正的智能手机时代，相较于在其诞生之前的其他功能手机，手机算力从近乎为零到代代成倍数增长。而生成式AI的兴起，虽然目前尚在初级阶段，但可以预期的是，在未来10年里，其算力能力亦是成几何式增长，而这个算力，必将是云、边、端融和的算力。

ChatGPT和大模型的爆发的成本、延时、安全问题

融合算力解决生成式AI的两个巨大问题：成本和延时。

根据测算，训练一次ChatGPT要450万美元，需要10000张A100训练一个月。GPT-3有1750亿参数，GPT-4的参数据说有100万亿，而ChatGPT的推理更贵。谷歌预测，如果其所有的搜索都用ChatGPT完成，需要购买1000亿美元的GPU芯片，ChatGPT每搜索一次的成本都超过了1美分。目前谷歌每天的搜索次数约为87亿次，全年全世界所有搜索引擎的搜索量达3.4万亿次以上，综合计算一年的搜索成本需要300亿到600亿美元。

ChatGPT的响应速度较慢，即使是简单的搜索也需要20-30秒，用户体验与是适合人的交互的体验，还存在巨大差距。

3月20日，ChatGPT全球宕机12小时，连付费plus用户也不能幸免。其公布原因是由于数据库迁移，但未尝不是爆款应用超负荷运转的必然结果，其后真正的原因也许就是算力瓶颈和集中式计算带来的弊端。

综上，解决生成式AI的成本、延时、安全的问题，分布式计算是必由之路。尤其是大规模应用之后，生成式AI推理成为主要的算力消耗，更需要分布式推理甚至本机推理。

分布式推理已经证明，砺算科技恰逢其时

清华大学唐杰教授在3月18日的清华电子系新一代人工智能会议上宣布，其ChatGLM大模型推理成功在一片英伟达RTX 2080 Ti（2018年产品）消费级显卡上完成。研究结果显示，英伟达GPU推理性能是国内其他专用推理芯片的10倍以上的性能。

砺算科技的GPU芯片和算力卡，以低于云端芯片数十倍的成本，能够高效即时完成大模型的本地推理。砺算科技与清华校友圈和大模型机构紧密合作，在GPU芯片设计中，专门为单机大模型推理的定制加速，未来将推出具有定制专用生成式AI加速能力的ChatGPU产品。

“要挖矿，先做锹”。砺算科技GPU的使命就是为生成式AI带来的的范式革命做“好锹”，“做好“锹！