通义千问落地联发科手机芯片 离线亦可继续和AI对话
作者：郝俊慧 来源：IT时报
AI手机正在加速进入市场。
3月28日，阿里云和联发科联合宣布，通义千问18亿、40亿参数大模型已成功部署进天玑9300移动平台，这是通义大模型首次完成芯片级的软硬适配。这意味着，即使在离线状态下，仅靠手机芯片的算力，用户也可以通过通义千问完成多轮AI对话，实现AI推理。
自2023年以来，全球两大手机芯片厂商：高通和联发科相继宣布研发出可装载大模型的芯片。就在10天前，高通刚刚发布第三代骁龙 7+ 移动平台，可以支持Baichuan-7B、Gemini Nano、Llama 2 和智谱 ChatGLM 等大语言模型，而联发科的天玑9300芯片此前也已宣布，支持端侧运行70亿、130亿AI大模型。
芯片厂商对于端测大模型的“给力”支持，是手机厂商的底气所在。三星、小米、一加、真我 realme、夏普等手机厂商先后发布了自家的AI手机。
此次，通义千问在天玑9300平台上成功部署，也意味着装载9300芯片的手机将可以直接应用该大模型，不仅增加了手机的“AI含量”，标志着Model-on-Chip的探索正式从验证走向商业化落地新阶段。
天玑9300设备可离线完成基于通义千问大模型的AI多轮会话
据了解，通义千问18亿参数开源大模型，推理2048 token最低仅用1.8G内存，是一款低成本、易于部署、商业化友好的小尺寸模型。阿里云相关人士表示，基于天玑9300芯片，通义千问18亿参数大模型在推理方面表现出了极佳的性能与功耗表现，推理时CPU占有率仅为30%左右，RAM占用少于2GB，推理速度超过20tokens/秒，系列指标均达到业界领先水平，可在离线环境下流畅实现多轮AI对话。
目前阿里云和联发科双方团队已完成了通义千问40亿参数大模型与天玑9300的适配，未来还将基于天玑适配70亿等更多尺寸大模型，“打样”并支持开发更多AI智能体及应用，相关成果将以SDK的形式提供给手机厂商和开发者。
AI手机已经成为手机厂商“翻身”的重要武器。数据显示，2023年全年中国智能手机市场出货量约2.71亿台，同比下降5.0%，创下近10年来最低出货量。天玑9300是联发科的高端芯片，据《IT时报》查询，目前国产品牌中采用天玑9300芯片的手机价位大约在3000元～5000元左右，属于中高端手机。IDC预测，2024年全球新一代AI手机的出货量将达到1.7亿部。