从卷参数到卷应用，岩芯数智自研大模型要做人工智能基础设施

原标题：从卷参数到卷应用，岩芯数智自研大模型要做人工智能基础设施

经历了被称为“大模型元年”的2023年，落地应用，也自然成为2024年行业关注的焦点，各家都在摩拳擦掌积极布局。作为上海岩山科技股份有限公司旗下的科技创新型人工智能企业，上海岩芯数智人工智能科技有限公司（以下简称“岩芯数智”）也是其中之一。

1月24日，岩芯数智正式发布了国内首个非Attention机制的通用自然语言大模型——Yan模型。作为行业内少有的非Transformer大模型，Yan模型用全新自研的“Yan架构”代替Transformer架构，用百亿级参数达成千亿参数大模型的性能效果，实现了记忆能力、速度和推理吞吐量等多方面的提升。

发布会上，岩芯数智CEO刘凡平表示：“我们期望Yan架构可作为人工智能领域的基础设施，并以此建立AI领域的开发者生态，最终让任何人在任何设备上都能使用通用大模型，获取更加经济、便捷、安全的AI服务，推动构建普惠的人工智能未来。”

在Transformer已占据人工智能领域半壁江山的当下，为何岩芯数智会选择自主研发Yan架构？岩芯数智CEO刘凡平解释称，核心源于行业对于高效能、低能耗AI大模型的需求正不断增长。

在刘凡平看来，Transformer作为GPT、LLAMA、PaLM等大模型的基础架构，虽然已经取得了显著的成功，在实际应用中的高算力和高成本，让不少中小型企业望而却步。其内部架构的复杂性，让决策过程难以解释；长序列处理困难和无法控制的幻觉问题也限制了大模型在某些关键领域和特殊场景的广泛应用。

中国信通院上海工创中心总工程师李韩军同样表示：“人工智能发展至今，大模型的架构升级始终在不断进化，在技术与应用的双重驱动下，生态边界也在扩展。可以说，每一次技术上的突破，都会带来智能生态的发展。从当前着眼通用性，到未来的个性化发展，我们期待行业生发更多新的生产力工具，引发新一轮技术革命，推动整个AI行业向更加高效和可持续的方向发展。”

一方面，在Attention机制下，现有架构的调整几乎已经达到瓶颈；另一方面，岩芯数智更期望降低企业对大模型的使用门槛，让大模型在更少的数据、更低的算力下具备更强的性能，以应用于更广泛的业务。

从岩芯数智给出的对比结果来看，在同等资源条件下，Yan架构的模型，训练效率和推理吞吐量分别是Transformer架构的7倍及5倍，并使记忆能力得到3倍提升。对比数据表明，在单张4090 24G显卡上，当模型输出token的长度超出2600时，Transformer的模型会出现显存不足，而Yan模型的显存使用始终稳定在14G左右，理论上能够实现无限长度的推理。

除了在技术上的突破创新，Yan模型也同时具备了私密化、经济化、精准化和实时性、专业性、通用性等六大优秀商业化落地能力。

事实上，大模型竞赛已经从“卷参数”的时代过渡到了“卷应用”的阶段，具体的场景和应用作为大模型创造价值的载体，常常面临着跨行业、跨领域的诸多难点。

如在汽车行业的客户服务中，需要处理技术性和专业性问题，涉及企业的专有知识和合规性要求；而在金融行业中，则往往更多需要适配客户服务与营销场景。这也意味着，行业对于通用大模型的需求亟待解决，故而许多大模型会通过剪枝、压缩等主流技术手段来实现在设备上的运行。

对比来看，Yan模型100%支持私有化部署应用，不经裁剪和压缩即可在主流消费级CPU等端侧设备上无损运行，达到其他模型在GPU上的运行效果。这一点在此次发布会上也得到了印证，研究人员现场展示了Yan模型在个人电脑端的运行推理，下阶段有望在手机端等更加便携的设备或终端中进行无损部署。

从岩芯数智对于商业化的布局来看，通用机器人，将成为其未来发展的关键一环。

据悉，现阶段岩芯数智商业化的重点主要在于本地化应用和部署，满足客户对于数据隐私、安全及低成本部署上的需求。面向B端客户，打造基于Yan架构的专业生产力工具，实现端侧训练、训推一体。未来，Yan 2.0将会以“全模态实时人机交互系统”全面打通感知、认知、决策与行动，构建通用人工智能的智能循环，同时让2.0在更广泛的设备中应用，为通用机器人等具身智能方向的研究提供大模型基础底座的更多选择。

岩芯数智董事长陈代千也在发布会上表示：“随着Yan模型的进一步落地和应用，期待以Yan架构为基础的通用大模型，为各种机器人、嵌入式设备、物联网设备提供所需的智能化能力，能为人工智能行业注入新的活力、新的思路，新的可能，为企业和用户创造更多的价值。也用我们的力量，参与推动人工智能领域新一轮的技术变革。”

南都记者 于典 发自上海