端侧AI深度跟踪报告：2024·AI“下凡”（附下载）
今天分享的是【端侧AI深度跟踪报告：2024·AI“下凡”】 报告出品方：浙商
海量/完整电子版/报告下载方式：公.众.号《数策智库》
ChatGPT带动云侧AI产业链史诗级爆发
ChatGPT热潮席卷全球，云侧AI产业链史诗级爆发。ChatGPT (Chat Generative Pre-trained Transformer) 是由 OpenAI于2022年12月推出的对话AI模型，一经面世便受到广泛关注。获得千亿、万亿级别参数的大语言模型需要 超大规模AI服务器集群进行训练，且随着模型不断迭代，对云端算力的需求增加。2023年以来，以英伟达为代表的 AI芯片、通信网络和服务器产业链相关企业股价涨幅明显。
AI不止于云：端侧是模型应用不容忽视的重要场景
（1）云侧AI：数据云端汇集训练，模型通用性强。从终端采集和感知到的声音、视频等数据都通过网络传输到云 中心侧进行后续处理，云侧的资源高度集中，存储和计算能力强，并且具有很高的通用性；
（2）端侧AI：终端设备上进行的轻型模型运用。越来越多的 AI计算和推理工作负载在手机、笔记本电脑、XR 头 显、汽车和其他边缘终端上运行，端侧硬件具备一定的计算能力，以及低延迟、个性化、隐私安全的特征。
混合AI大势所趋，AI处理重心向边缘转移
云端推理成本极高，生成式AI规模化拓展难以持续。AI推理规模远高于训练，尽管训练单个模型会消耗大量资源，但大 型生成式AI模型预计每年仅需训练几次；推理成本将随着日活用户数量及其使用频率的增加而增加。
终端侧AI能力是赋能混合AI并让生成式AI实现全球规模化扩展的关键。在生成式AI出现之前，AI处理的重心正向边缘转 移，越来越多的AI推理工作负载在手机、PC、XR 头显、汽车和其他边缘终端上运行。
混合式AI（云端协同）成为规模化应用未来的解决路径。在一些场景下，计算将主要以终端为中心，在必要时向云端分 流任务。而在以云为中心的场景下，终端将根据自身能力，在可能的情况下从云端分担一些AI工作负载。
免责声明：以上报告均系本平台通过公开、合法渠道获得，报告版权归原撰写/发布机构所有，如涉侵权，请联系删除 ；资料为推荐阅读，仅供参考学习，如对内容存疑，请与原撰写/发布机构联系。