WAIC2024|岩芯数智RockAI多模态大模型亮相 能够处理跨语言任务

【环球网科技报道 记者 李文瑶】7月4日—7日，2024世界人工智能大会暨人工智能全球治理高级别会议（WAIC）在上海举行。在此次大会上，上海岩芯数智人工智能科技有限公司（以下简称“RockAI”）携Yan1.2多模态大模型亮相，不仅可以让大模型在手机、电脑，甚至树莓派端无损运行，还可以让机器人拥有学习能力，展现出了高度广阔的应用前景。

记者在大会现场看到，研发团队展示了一款部署了Yan1.2多模态大模型的智能机器人小智，它能够基于Yan1.2的语音和视觉处理能力，实时识别环境、准确理解用户的模糊指令和意图，像人一样进行思考，并据此控制其机械躯体高效完成各类复杂任务。值得一提的是，此次“小智”机器人搭载的核心硬件是以低算力著称的树莓派第五代芯片。在极低算力的设备上实现了强大的多模态能力。

比如，小智可以根据“让一让，我要放东西”的模糊指令识别其意图和行动方向，从而作出相应的避让动作。当有人问“小智，你现在看到了什么”或手捧书籍邀请小智一同看书时，它能够基于多模态能力进行学习和创作，精确描述环境和人物特征、学习书籍信息。而对于需要大脑和躯干协调完成、复杂程度翻倍的任务，小智的表现同样毫不逊色，如“在四步之内创作出以枫叶为主题的一首古诗”。

整个展示过程中，小智的表现生动地体现了Yan1.2大模型强大的多模态整合及生成能力，不仅能够处理复杂的跨语言任务，还能够针对不同需求和偏好，与人类进行自然的互动交流，让人不禁感叹：未来已来。

除机器人外，RockAI也向在场观众展示了Yan1.2多模态大模型在树莓派端、手机端、PC端等其他低算力设备上的无损运行能力，展现了Yan模型可为智能设备提供“大脑”的可能性。

“我们所构想的通用人工智能，是在诸如智能手机、机器人以及其他多样化设备上展现出的非凡适应力与高度个性化的交互能力。RockAI期待能够重新定义大模型的价值，让世界上每一台设备都拥有自己的智能，让每个人都能拥有专属的个性化人工智能服务。”RockAI CEO刘凡平介绍，在Yan模型诞生之初，团队就提出要让它像人类一样具备自主学习的能力。

据了解，RockAI在今年1月完成了对基础架构的突破式创新，推出了国内首个非Attention机制的Yan架构，用更少的计算实现更优的成果。与此同时，首创了“同步学习”理念，也就是让模型具备实时学习的能力，可以在推理的同时，实时有效且持续性地进行知识更新和学习，无需“返厂”进行再次更新或预训练，从而使大模型可以像人类学习一样建立自己独有的知识体系。

通过模型分区激活+寻找反向传播更优解“两步走”，RockAI试图能以更低代价更新神经网络，营造全模态的学习环境，实现模型的边跑边进化。而历经近半年的迭代，RockAI已经走通了全模态部分视觉、音频支持。除了能原生无损地适配更多低算力设备，Yan1.2还能“听说读”懂来自现实世界的影像、音频等复杂数据，“同步学习”也进入实验室最后验证阶段，并于大会现场进行了实验室示例展示。

刘凡平表示，随着同步学习机制的强化，Yan2.0将以“全模态+自主学习+实时进化”的形态与真实世界进行交互，在不远的将来，让世界上每一台设备都能拥有自己的智能，最终实现个性化的通用人工智能，乃至激发群体智能的涌现。