本报(chinatimes.net.cn)记者卢晓 北京报道
AI大模型在手机终端上的部署日益提速。
3月28日,阿里云与联发科联合宣布,通义千问18亿、40亿参数大模型已成功部署进天玑9300移动平台。据悉,这是通义大模型首次完成芯片级的软硬适配,同时意味着Model-on-Chip的探索正式从验证走向商业化落地新阶段。
在这背后,本身拥有计算能力的终端被认为是AI大模型落地的重要场景之一,特别是使用频率极高的手机。与此同时,外界也期待AI大模型能搅动疲软许久的手机市场。
端侧大模型加速
在手机终端部署AI大模型,手机算力决定了大模型的表现。
记者从阿里云方面了解到,通义千问18亿参数开源大模型,在多个权威测试集上性能表现远超此前SOTA模型,且推理2048 token最低仅用1.8G内存,是一款低成本、易于部署、商业化友好的小尺寸模型。天玑9300集成MediaTek第七代AI处理器APU790,生成式AI处理速度是上一代AI处理器的8倍。
此外,阿里云方面还告诉《华夏时报》记者,双方团队也已完成了通义千问40亿参数大模型与天玑9300的适配,未来还将基于天玑适配70亿等更多尺寸大模型,“打样”并支持开发更多AI智能体及应用。“不是参数越大越好,适配最重要。”阿里云相关人士告诉记者。
据记者了解,通义千问是阿里云自研的基础大模型,迄今已推出千亿参数的2.0版本以及开源的720亿、140亿、70亿、40亿、18亿、5亿参数等尺寸,以及视觉理解模型Qwen-VL、音频大模型Qwen-Audio等多模态大模型。
有业内人士在跟记者交流时认为,利用终端算力进行AI推理,可大幅降低推理成本、保证数据安全并提升AI响应速度,让大模型可以更好地为用户提供个性化体验。
3月24日,上海人工智能实验室领军科学家林达华在2024全球开发者先锋大会大模型前沿论坛也提出,伴随着云侧计算的指数级增长,端侧计算将迎来黄金增长期。目前,很多模型越做越小,可以直接进入手机运用。为此,手机算力也需不断增长。未来,云端协同将成为重要趋势,大模型用户量的增长将主要依靠端侧。
不过需要提及的是,在手机端部署大模型并不容易。
据记者了解,要将大模型部署并运行在终端,需完成从底层芯片到上层操作系统及应用开发的软硬一体深度适配,存在技术未打通、算子不支持、开发待完善等诸多挑战。
阿里巴巴通义实验室业务负责人徐栋介绍称,阿里云与联发科在模型瘦身、工具链优化、推理优化、内存优化、算子优化等多个维度展开合作,实现了基于AI处理器的高效异构加速,真正把大模型“装进”并运行在手机芯片中,给业界成功打样端侧AI的Model-on-Chip部署新模式。
搅动低迷手机市场
作为全球智能手机芯片出货量最高的半导体公司,联发科与阿里云在端侧大模型的合作,对手机市场影响不言而喻。Canalys最新数据显示,其2023年第4季度出货超1.17亿部,苹果以7800万出货量位居第二,高通以6900万出货量位居第三。
事实上不只联发科,今年3月,高通也宣布推出第三代骁龙8s移动平台,支持100亿参数级别的大语言模型,也能够支持多模态生成式AI模型,由小米Civi 4 Pro全球首发。
手机终端厂商布局AI大模型更早。据记者了解,去年10月发布的小米14以及14Pro,已经部署了AI端侧大模型。今年2月,OPPO对外发布了自己的1+N智能体生态战略,魅族也在宣布进行战略调整,停止传统“智能手机”新项目的开发,全力投入新一代AI设备。
在手机产业链都全力AI背后,TechInsights给出的数据显示,2023年全球智能手机的换机率可能会跌至23.5%(换机周期为51个月)的最低点。
IDC发布的《AI手机白皮书》预计,2024年起新一代AI手机将带动新一轮换机潮,2024年全球新一代AI手机出货量将达到1.7亿部,约占智能机整体出货量的15%,具体到中国市场,IDC也预计,随着新的芯片和用户使用场景的快速迭代,新一代AI手机在2027年将达到1.5亿台,市场份额超过50%。
在此之前,手机市场已经低迷太久。就在刚过去的2023年,IDC数据显示,当年全球智能机出货量同比下降3.2%至11.7亿部,为十年来最低,当年中国智能机出货量约2.71亿台,同比下降5%,也创下近10年以来最低出货量。
AI大模型被期待能成为刺激手机市场增长的强心针。不过IDC中国高级分析师郭天翔对《华夏时报》记者指出,随着芯片的升级,会有更多手机从算力上可以支持大模型,但对于消费者而言,短时间内AI大模型尚不会成为刚需,难以成为推动消费者换机主推力。
陕西畅游天下栏目 2024-12-23
有事郝说 2024-12-23
科技制高点 2024-12-23