首款人机交互端到端多模态AI大模型发布，公司CEO：训推同步是自主学习的最佳方式｜钛媒体AGI

作者：钛媒体APP发布时间：2024-09-28

基于自研Yan系列模型的智能机器人（图片来源：受访者提供）

钛媒体App 9月27日消息，岩芯数智RockAI日前在上海推出全新升级、采用非Transfomer架构的Yan 1.3大模型，可高效处理图文及语音等多模态信息，用于无人机、机器人、PC、手机等各类终端设备场景。

RockAI CEO刘凡平表示，这是全球首个人机交互领域端到端的多模态大模型，同时也是全球首个跨越广泛设备的多模态大模型，而且还是国内推出的自研群体智能单元大模型。目前，该模型已快速在英伟达、高通、联发科、英特尔、瑞芯微等多元化硬件设备上实现适配，进一步加速商业落地，让世界上每一台设备拥有自己的智能。

会后，刘凡平向钛媒体App等表示，Yan1.3大模型将落地覆盖从低端到高端更广泛的群体。谈到行业未来发展，刘凡平强调，“基于Transfomer架构的通用大模型，未来只有两到三家可能是成立的。Transfomer这样的‘造神式’大模型未来解决问题的场景依然有限，相比较而言，以群体智能为目标的群体智能单元大模型更有意义。”

“在AGI（通用人工智能）这个终极命题下，无论是云端还是端侧，都只是实现智能普惠及跃迁的一个载体。我们始终坚信，只有真正提升每一台设备的自我学习能力，才能激发更高级别智能形态即群体智能的涌现。”刘凡平表示。

RockAI CEO刘凡平

据悉，成立于2023年6月的RockAI，是A股上市公司岩山科技（002195.SZ）旗下AIGC新公司，专注于打造一站式AIGC数智化服务平台。而RockAI团队则早在2022年就早已组建。

相比于其他大模型企业，RockAI主攻基于非Transformer自研架构的 AI 大模型研发。今年1月，RockAI首次发布Yan1.0模型，并公布基于AI 大模型的To B垂直领域行业和场景方案，释出包括RockAI模型大脑、知识库问答、业务助手、智能客服等产品。

此前，刘凡平对钛媒体App表示，亟需创新型的 AI 算法，现有的很多算法不仅无法满足客户的实际应用需求，而对于大模型成本也造成一定承压。他表示，目前算力在客户交付成本中占了近一半，而RockAI利用自研的非Transformer的记忆逻辑模型架构，将交付成本降低到30%-40%左右。（详见钛媒体App前文：《独家对话岩芯数智CEO刘凡平：“百模大战”下，AIGC新玩家如何杀出重围？》）

所谓非Transformer架构，其实是以底层神经网络架构MCSD替代Transformer的Attention机制，因为Attention是Transformer架构的核心，其加权算法决定了计算量会随着序列长度的增加而数倍增长，对计算的算力要求也会越来越高。而RockAI通过MCSD机制替换掉Attention，只把最有效的信息、特征往后传，以线性的方式降低计算的复杂度，提升训练和推理效率。

如今，RockAI再次更新Yan1.3模型。

相较于1月份发布的Yan1.0，Yan1.3具备了强大的多模态能力，可高效处理图文及语音等多模态信息，并实现了模型在更广泛设备端上的离线无损部署，普通电脑CPU上也能够流畅运行。

“在技术的征途上，RockAI正在以创新者和突围者的姿态书写新的篇章，我们很自豪的向大家宣布，在效果表现上，自研架构Yan 1.3已经超越了Llama3，成为了中国自主架构大模型的里程碑事件。如今，未经压缩、裁剪的Yan1.3大模型在越来越多设备端展现出的丝滑适配和超强模力，正向行业证实RockAI技术路线的合理性，及其最终激发群体智能的充分可能。”刘凡平在演讲中表示。

商业化层面，基于Yan1.3模型的“胖虎”智能机器人，能够基于多模态处理能力，在离线状态下识别复杂环境、准确理解用户意图，并据此控制其机械躯体高效完成各类复杂任务。

同时，Yan系列模型也已经在无人机、手机、PC等端侧场景中落地，如基于Yan1.3的飞龙无人机，可全面感知复杂环境并在设备端实时处理，支持各类环境下的智能巡检，不仅适配电力巡检、安全监控、环境监测等城市治理及工业场景，而且可以面向个人用户广泛用于日常生活情景。

刘凡平表示，目前RockAI主要以“Yan inside”的模式赋能不同设备，也愿意为终端销量较大的公司赋能，但同时针对量小的终端厂商也不会忽视，例如部署在小众却有潜在发展前景的具身智能当中，以及在关注玩具或陪伴机器人，从而加速大模型的广泛落地应用。

“Yan1.3已经可以在广泛的设备上部署和应用了，开启了多元化硬件生态，所以我们认为它在第二阶段，第三阶段是自主学习。”刘凡平认为，RockAI的群体智能实现包括四个阶段：创新型基础架构、多元化硬件生态、自适应智能进化、协同化群体智能，而目前公司仍在第二阶段当中进行实施。

此外，RockAI还在会上发布“训推同步”技术，刘凡平称这是群体智能单元大模型自主学习实现的最佳方式。会后他向钛媒体App进一步解释称，“训推同步”是更偏算法层面，目标是不仅能在端侧上运行，同时能够做训练，这将是一个很大的进步。

谈到未来发展，刘凡平强调，Transfomer是一条通往AGI（通用人工智能）中的可能路径，但实践过程无法论证它是最优的路径。我们应该让大模型模拟人脑的方式来工作，而不应该是Transfomer架构大模型中那样无时间差别的输出。“作为非常早期的Transformer研究者之一，我们从理解Transfomer、深入Transfomer到放弃Transfomer是一个无奈但迫使我们创新的过程，这个过程非常漫长。”

“在当前充满竞争的时代，现在国内大模型研发似乎进入一种‘模式化’的困境，创新的思路已经开始稀缺，大家都在追随国外的步伐，仿佛像一场没有终点的技术接力赛。春节时期OpenAI发布视频模型Sora，国内都去follow它。所以Yan架构就像一股清流，它以非Transformer架构的身份证明了中国智慧的无限可能。试想一下，其实中国的大模型又有多少是真正自己研发的？我们没法‘造壳’，因为我们底层架构全是自己的，没法用别人的东西，我们就只能从零开始走向超越Llama 3，甚至很多企业在用Transformer架构都还没有超越Llama 3，这种方式就决定了我们创新之路，不断证明它是一个越来越正确的事情。不同于其他的厂商，我们选择更艰难的道路，直面挑战，因为我们知道，RockAI作为真正的创新者，是无法靠‘套壳’去安身立命的。我们未来一定会比现在更好。”刘凡平在演讲中表示。

以下是RockAI CEO刘凡平与钛媒体App等进行部分对话交流整理：

问：Yan大模型的训推同步，与OpenAI o1推出的强化学习有什么不同？

刘凡平：严格来说OpenAI O1是一个强化学习过程，但Yan1.3的训推同步并不是这个路线，或者说强化学习并不是主要的。强化学习要通过大量数据去调整，意味着它应用成本很高。这也是O1在真正实际运用时会有限制的原因。

训推同步的目标是能在端侧上运行并做训练，这将是一个很大的进步。我们希望更廉价的训练，而不是更昂贵的。训推同步可理解为模型的训练与推理同步进行，正如人一样，在聊天的时候可以通过语音输出推理，但同时也可以通过耳朵的听觉、眼睛的视觉作为输入进行实时学习。

问：训推同步在本地设备上是怎么进行训练的？

刘凡平：我们刚才提到了类脑激活机制，其实我们人在处理事件时，并不是大脑的所有神经元都会参与。我们在端侧也是以选择部分神经元参与的方式，比如说100亿参数，并不是所有参数都会参与这个过程，而是很小部分，这样它的算力需求就会很低，训推就可以完全同步的进行，而且在输出时也能调整参数。

问：您觉得大模型可能在未来哪个领域里出现大的爆发？

刘凡平：我觉得在一些消费终端设备上可能会有一些爆发，目前手机和PC本身就有很大的一个存量，但我觉得更多消费终端应该很快也能打开这个局面。现在的很多终端设备智能还是固定化程序运转，接下来应该很快就能通过AI的方式产生变化，包括交互体验上也能产生变化的。就比如搭载了Yan1.3的无人机，是可以人机对话的，我们可以让无人机拍摄不同角度的照片，比如拍下我身后的风景，并将我放在画面正中的位置。

问：大家认为大模型是一种信息的压缩，在这个层面一般都会是生成内容，但我们强调的是学会，这个是什么原因？

刘凡平：学会的方式则不再是next token的预测了。例如之前厂商都在做的文生视频，其实有个很大的痛点，就是生成后很难再编辑它，得重新改提示词。而我们是想教会大模型如何去做视频的技能，它学会技能后再去生产视频。所以我们更希望模型是面向过程的学习，而非面向结果的学习，同时面向过程的学习会使得模型具备更强的可解释性。