生成式AI进入终端侧 产业链影响几何？
本报记者 陈佳岚 广州报道
生成式AI正跑步进入移动时代。
《中国经营报》记者注意到，自2023年7月以来，包括荣耀、小米、华为、OPPO、vivo在内的国内主要手机厂商，都已经将生成式AI带入手机终端；而且在实践层面上，国产手机厂商布局大模型已经产生了两种不同的路径：一种是荣耀、小米引入端侧AI大模型，另一种是华为、OPPO、vivo采用的“端云协同”部署方案。
端侧大模型的实现，离不开手机芯片厂商的支持。记者注意到，手机芯片厂商联发科（MediaTek）11月21日发布天玑8300 5G生成式AI移动芯片，采用台积电第二代4nm制程，在11月初，联发科还发布了天玑9300旗舰5G生成式AI移动芯片；而高通亦于10月底率先推出骁龙8Gen3，将生成式人工智能功能直接引入SoC系统级芯片组中。
随着SoC芯片巨头为在手机上跑大模型奠定硬件基础、手机厂商们纷纷支持大模型的应用，这也就意味着端侧AI应用或迎来爆发。
不过，多位行业人士提醒记者，端侧大模型对手机硬件来说仍是不小的负担，可能导致手机发烫、电池寿命缩短、续航能力下降等问题。
手机纷纷落地大模型
在手机上使用大模型已经不是什么新鲜事，ChatGPT、文心一言、讯飞星火大模型等都推出了APP，甚至文心一言、讯飞星火大模型可以接入学习平板、学习机中，但这些应用都是依赖云端算力。而现在的趋势是，手机厂商正在努力使大模型直接在手机终端运行，不依赖于网络。端侧的模型应用成为不容忽视的重要场景。
终端侧AI，是指将AI的处理和数据存储、计算等任务放在终端设备（如手机、电脑等）上执行。终端侧AI的优势在于低延迟、低功耗、高隐私保护和低成本等方面。而端侧大模型，也意味着即使不联网，也可以在本地完成计算。
7月，荣耀发布了Magic V2折叠屏手机，声称是“全球首款原生集成AI大模型的国产手机”。10月，荣耀CEO赵明宣布，荣耀Magic6系列将搭载第三代骁龙8移动平台，支持70亿参数的端侧AI大模型。
8月，小米创始人、董事长兼CEO雷军透露，小米做大模型的思路是轻量化和本地部署，并表示目前手机端侧的大模型已经初步跑通。
在“端云协同”部署方案中，例如，华为的智慧助手“小艺”背后的大模型有端侧和云侧两种形态，可以根据不同设备和场景的需求进行处理。这种处理方式最大化地发挥了“端侧快”和“云侧强”的优势。
再比如，OPPO AndesGPT以“端云协同”为基础架构设计思路，推出从十亿至千亿以上多种不同参数规模的模型规格，能够基于“端云分工、端云互补、端云协作”等方式，灵活支撑多元化的应用场景。AndesGPT着重强调了“对话增强、个性专属、端云协同”三个层面的技术特性。
vivo大模型亦采用了云侧和端侧两种方式进行部署。在vivo X100系列手机上，vivo与联发科合作，实现全球首个跑通了130亿参数的大模型，端侧支持70亿参数的大模型手机。此外，vivo OriginOS 4在端侧部署了具有10亿参数的大模型，同时在云侧部署了660亿和1300亿参数的大模型。vivo的五个大模型通过云侧和端侧的融合，构成了一个大模型矩阵，可以快速响应各种问题和需求。
而在PC产品方面，联想在其Tech World创新科技大会上展示了端侧大模型方面的能力以及首款AI PC。
随着主流手机、PC厂商纷纷将落地端侧大模型，分析人士称，AI手机和AI PC正成为一个新趋势，下游端侧AI设备需求量有望增长。
端侧部署逻辑何在
终端厂商们纷纷都有端侧落地的方案，背后都是希望智能手机端侧AI模型支持本地问答、语音互动等功能。
据了解，与云端的通用大模型相比，端侧模型不需要将用户的数据上传到云端进行处理，因此可以更好地保护用户的隐私。端侧模型可以在本地进行计算，避免了网络延迟和带宽限制，提高了计算效率。
此外，成本也是手机厂商在布局大模型时候会选择端侧的原因。中信研报提到，ChatGPT测算生成一条信息的成本在1.3美分（约合人民币0.0929元）左右，是目前传统搜索引擎的3到4倍，单次搜索成本过于高昂。
vivo副总裁、OS产品副总裁周围在接受记者采访时就提到，如果需要调用云端大模型的话，目前最少也要0.012元，以vivo3亿用户来看，每天用十次，一年算下来也要100亿元左右的支出，成本非常高，但如果在手机端侧运行大模型，则不会产生推理成本。
可靠性方面，与云端互联的网络可能不稳定、甚至断线。决策在本地大幅降低了数据经过更长的通路产生错误的概率。终端侧AI处理能够在云服务器和网络连接拥堵时，提供媲美云端甚至更佳的性能。根据浙商证券研报中引用的“Cloud vs On-device AI？ Maybe something in between！”的测算，如果所有的推理案例都在云服务器上进行，准确率是79.31%；如果49.88% 的推理案例在移动端进行，其余在云端进行，仍可达到79.31%的云级准确率。
而芯片厂商们也敏锐识别到了手机厂商的诉求。比如，高通发布的骁龙8 gen3支持包括Meta Llama2、Chat GPT等在内的多模型生成式AI，其可处理的大模型参数超过100亿，推理速度达到了每秒20个token。
再比如联发科发布生成式AI移动芯片天玑9300，集成第七代AI处理器APU 790，结合内存硬件压缩技术NeuroPilot Compression来减少AI大模型对终端内存的占用，天玑9300支持在终端运行10亿、70亿、130亿参数的AI大模型，联发科的AI开发平台NeuroPilot支持Android、Meta Llama 2、百度文心一言大模型、百川智能百川大模型等主流AI大模型。
在PC端，英特尔预计于2023年12月14日发布面向下一代AI PC的酷睿Ultra处理器，且公布了“AI PC 加速计划”，宣布将为软件合作伙伴提供工程软件和资源，以期在2025年前为超过1亿台 PC 实现人工智能特性。
中银证券发布研报指出，随着高通和联发科相继发布支持边缘AI功能的旗舰SoC，未来手机有望部署本地大模型。预计随着生成式大模型进入移动时代，对应的边缘 AI 需求也有望迎来较快增长。
IDC则预测，到2026年中国市场近50%的终端设备处理器将带有AI引擎，AI落地空间广阔。AI手机是智能手机行业大势所趋。光大证券认为，AI手机等智能终端可能成为未来消费电子行业变革的方向。
不过，当端侧大模型渐成趋势之后，相比通用大模型，端侧大模型仍存在一些不足和缺点。
IDC中国高级分析师郭天翔对记者提醒道，目前端侧的算力要求比较高，功耗较大，更为重要的是端侧大模型的参数量级无法与通用大模型相比。
而未来移动端布局大模型更有可能是端侧大模型和网络侧的大模型相结合。
荣耀公司CEO赵明表示：“真正帮助我们更好管理自己的事情的时候还是要靠端侧 AI 能力，而未来一定是端侧大模型和网络侧的大模型相结合。混合式AI未来能够真正解决我们的问题。目前荣耀已经和很多云侧大模型供应商进行沟通，酝酿端云大模型互补的落地。”而郭天翔亦认为，未来移动端布局大模型的趋势也是端侧大模型和网络侧的大模型相结合，这样既可以保证有体量较大的参数量级，可以带来更好的使用体验，又能结合本地算力，在无法联网的情况下使用。
产业链准备好了？
而随着生成式AI加速落地终端，也将对上游产业链带来影响。郭天翔对记者分析，这种情况将对高算力的芯片、大存储组合、大密度电池等提出更高要求。
麦格理（Macquarie）最新发布的报告就提到，支持终端侧AI大模型功能的智能手机将需要比以前更大容量的内存。目前主流的智能手机多是配备8GB RAM，具有AI 自动生成图像功能的设备至少要配备12GB RAM，具有数字AI助手功能的设备需要大约20GB RAM。
实际上，记者留意到，由于终端设备的算力有限，一些芯片、手机厂商对落地在手机中的大模型都进行了压缩。比如，在手机端，高通已经将FP32模型量化压缩到INT4模型，实现64GB内存和计算能效提升。vivo通过模型压缩、异构计算等手段，让模型可以在手机CPU、GPU等硬件上高效执行。
TrendForce集邦咨询分析师黄郁琁对记者分析，目前AI功能主要是搭载在旗舰手机上，而安卓旗舰机一般都配置有12GB、16GB的容量，足以应付初阶的AI功能所需，不过的确会带动旗舰机向更高内存转进，之后随着AI在终端的应用更趋成熟，内存容量会进一步向上推升。
郭天翔亦对记者分析，未来肯定会推动手机存储向更大容量发展，可能目前落地使用最大24GB的RAM在未来就只是起步内存了。
联发科无线通信事业部AI技术高级经理庄世荣就曾表示，一款130亿参数的AI大模型，大概需要13GB 内存 (INT8)才能运行，而智能手机本身运行安卓操作系统通常就要占用4GB的内存，如果还要相对流畅地运行其他常规APP任务并保活，还需要6GB的内存，即总的手机内存容量需求将达到23GB。
不过，生成式AI的发展，对推动存储芯片需求回暖、存储价格回升仍有限。黄郁琁表示，对于今明两年而言，存储需求受到AI应用鼓舞的成分还很低，目前主要仍是透过全面的终端需求好转，或是原厂控制产出的影响为主。
