当前位置:首页|资讯|ChatGPT

AI算力紧张又一良方?边缘计算呼声渐涨 兼具时延、安全等优势

作者:盈灿咨询发布时间:2023-03-24

原标题:AI算力紧张又一良方?边缘计算呼声渐涨 兼具时延、安全等优势

AI算力紧张又一良方?边缘计算呼声渐涨 兼具时延、安全等优势

一款ChatGPT激起AI千层浪,全球各路兵马争相投身,类ChatGPT应用快速铺开,算力需求愈发高涨。

ChatGPT之前一度因访问量激增导致官网瘫痪,GPT-4推出之后也已多次下调付费用户访问限制,券商推测目前AI大模型的算力水平已显著供不应求。不难预见,随着这场AI热潮逐步扩张,算力短缺已成为悬在参与者头顶的一把达摩克利斯之剑。

如果说CPO是传输层面的优化、Chiplet是芯片层面的办法,那么边缘计算或许就能称得上是网络架构层面的良药——翻阅近期多家券商研报可以看到,边缘算力有望成为AI算力的重要组成部分,更可能成为推理主体

英伟达也指出,为了有效运用算力达成AI应用目标,大规模数据中心势必要增加资本支出以扩大云端运算效能,同时也将带动边缘装置销售

▌算力格局生变巨头已有“示范”

从概念上来说,边缘计算是一种分布式计算框架,它将从终端采集到的数据,直接在靠近数据产生的本地设备或网络中分析,无需再将数据传输至云端数据处理中心。

实际上就在近期,高通发布了全球首个在安卓手机上运行的Stable Diffusion终端侧演示。Stable Diffusion是一个可用文本直接生成图像的AI模型,其参数超过10亿,此前仅能在云端计算集群内运行——这便是AI模型在边缘终端的部署。

当前,AI的迭代、训练、推理基本都是在超算中心内进行。但在AI大爆发周期内,迭代和训练所需算力将呈指数级增长,增速将超过单芯片算力增长速度;同时,单个AI超算规模也会受到功耗、土地、散热等因素制约。

因此国盛证券指出,未来的AI运算将呈现出“训练与迭代在云端、推理与内容生产梯度分布(云侧+雾侧+边缘侧)”的格局变化

▌优势:算力、时延、带宽成本、隐私

缓解超算中心的算力压力是边缘计算的一大用处,除此之外,它还有什么优势?

先是时延与网络带宽使用效率方面:

随着AIGC内容愈发丰富,从简单的文字发展到视频、虚拟场景。若由云生成后发送到端,将产生较多的网络带宽成本和一定程度时延,进而影响模型的商业化进程与用户使用体验,而边缘计算便有助于作为补充手段改善这一问题。

其次是在ChatGPT发展过程中,频被提及的隐私方面:

以上文提到的高通Stable Diffusion为例,其文本输入与图像生成始终无需离开终端,则运行时有助于保护用户隐私。券商也表示,未来AI的推理过程,通过一定的针对性优化后,完全有能力通过边缘算力实施,边缘算力低时延、安全、隐私等优势,也符合未来AIGC时代,对于AI创作所有权和隐私权的要求

▌智能模组成优秀承载 SoC也迎契机

计算“边缘化”的趋势,对产业链不同环节也提出了相应要求。

一方面,国盛证券指出,智能模组是承载边缘算力的优秀形式。其是融入了算力或通用芯片的通讯模组,目前已应用于车机、消费等多个领域。智能模组未来有望走向依据模型定制算力平台、与使用场景深度绑定的模式,彻底打开行业应用场景与想象空间。

另一方面,光大证券、东方财富证券认为,边缘计算将更多AI与算力赋予边缘设备,带动 AIoT设备的边缘算力需求,这为SoC设计公司提供更多机会的同时,也提出了更高的PPA (性能、功耗、尺寸)要求

据《科创板日报》不完全统计,A股中相关公司有:


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1