今天分享的是电子行业系列深度研究报告:《电子行业专题:高通等IT龙头布局终端生成式AI,终端AI推理应用有望带动产业链升级》。(报告出品方:安信证券)
精选报告来源公众:人工智能学派
报告共计:31页
【报告内容摘要如下】
科技龙头加快布局AI市场,终端侧AI商业化应用落地加速
AI市场持续火热,科技龙头积极布局终端侧AI。年初以来,以ChatGPT为代表的生成式人工智能带动了AI大模型的持续落地和商业化,IOS版ChatGPT已于近期推出,不久的未来OpenAl或为安卓手机提供相应的服务。ChatGPT应用的推出,无疑让更多人感受到了人工智能带来的便利,随着AI走进千家万户,终端AI算力和应用的发展是必不可少的。Meta、微软、谷歌、苹果、英特尔、联发科等各大科技巨头正在加速布局面向消费级和企业级的终端侧AI。
AI大模型参数规模增势迅猛,面对算力的巨大消耗,终端算力的发展或成为当务之急。从2012年的AlexNet的百万级参数开始,AI大模型参数规模每年都以指数级的增长速度在扩大,如今不同领域的AI大模型参数规模已经开始逐渐迈入千亿级和万亿级时代。以自然语言处理(NLP)为例,经过十余年的发展,模型参数已经达到了千亿级别,数据量增长了数百万倍。AI大模型可以从海量的数据中训练出通用的知识和能力,从而在不同的任务和领域中表现出强大的泛化性能,而AI大模型参数规模和训练、推理时所需要的算力呈正比关系,因此可以推测未来随着大模型参数规模的增长,对算力的消耗加大,终端算力的发展或成为当务之急。
高通有望引领混合AI发展,助力实现随时随地的智能计算
大模型有望走向端侧,混合AI前景广阔。2023年5月,高通发布了混合AI白皮书,指出混合AI是AI的未来。混合AI是指终端和云端协同工作,在适当的场景和时间下分配AI计算的工作负载。在一些场景下,计算将主要以终端为中心,在必要时向云端分流任务。而在以云为中心的场景下,终端将根据自身能力,在可能的情况下从云端分担一些AI工作负载。在以终端为中心的混合AI架构中,许多生成式AI模型可以在终端上充分运行,云端仅用于分流处理终端无法充分执行的任务。在基于终端感知的混合AI场景中,在边缘侧运行的模型将充当云端大语言模型的传感器输入端,以进一步分流计算任务并减少连接带宽,从而节省成本。终端和云端的AI计算也可以协同工作来处理AI负载,在性能和能耗上实现双赢。
混合AI能够带来成本、能耗、性能、隐私、安全和个性化优势。混合式AI能够解决大型生成式AI模型推理成本高的问题。仅在云端进行推理,数据中心基础设施成本会持续增加,而将一些处理从云端转移到边缘终端,云基础设施的压力能够减轻并且减少开支。边缘终端能够以很低的能耗运行生成式AI,实现环境和可持续发展目标。在混合AI架构中,终端侧AI处理稳定可靠,可以防止云服务器和网络连接拥堵时出现大量排队等待、高时延和拒绝服务的情况。此外,用户无论身处何地都可以正常运行生成式AI应用。终端侧AI从本质上有助于保护用户隐私,因为查询和个人信息完全保留在终端上,同时让更加个性化的体验成为可能,能够在不牺牲隐私的情况下,根据用户的个性进行定制。
【内容看点】
(本“人工智能学派”已获上百家出品方授权。本文仅供参考,不代表我们的任何立场。如需使用相关信息,请参阅报告原文,内容版权归原撰写/出品方所有。)
报告共计:31页
受篇幅限制,仅列举部分内容。
海量精选报告来源公众号“人工智能学派”