AI科学家李飞飞团队最新突破：ReKep，让机器人具备“空间智能”能力

最近，知名人工智能科学家李飞飞团队发布了“空间智能”研究方向的最新突破，提出了关系关键点约束（ReKep，全称：Relational Keypoint Constraints）。

据了解，ReKep是一种基于视觉的表示方法，用于设定机器人操作中的约束条件，从而优化其动作。它通过将环境中的三维关键点映射到数值成本来定义这些约束，这些关键点具有任务语义和空间意义。

简单而言，该研究就将任务表示为一个关系关键点约束序列，同时现有环境则表示为空间域和时间域上的约束，从而优化机器人的操作，并进行复杂且精细的交互操作。例如，在机器人倒茶的场景中，约束条件不仅包含中间目标（如对齐壶口与杯口），还包括过渡状态（如保持茶壶直立），共同决定了机器人相对于环境的动作的空间、时间和其它组合要求。此外，该研究中，两只机器人手臂还能合作完成诸如叠衣服、打包鞋子等操作。

值得注意的是，该研究中还使用了大模型，李飞飞团队结合了视觉模型和视觉语言模型，设计了一套流程来实现关键点提议和ReKep生成。这些模型中就包括GPT-4o（OpenAI为聊天机器人ChatGPT发布的语言模型）。为此，李飞飞表示，该项目展示了视觉与机器人学习的更深层次融合。

研究过程中，该团队在两种不同的机器人平台上搭建了系统，并进行了多种任务的实验，包括单臂和双臂机器人的多阶段、双手协作积极反应性的操作任务。实验结果表明，该系统在没有任务特点数据或环境模型的情况下，能够有效地形成准确的约束。同时，研究还讨论了ReKept在泛化操作策略、系统错误分解和实验结果方向的挑战和局限性。

该论文的标题为“ReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation”，同时还公开了该项目的网站和代码。

李飞飞是人工智能领域最重要的科学家之一，是现代人工智能的关键催化剂ImageNet数据集的创建者，推动了计算机视觉和深度学习的发展，被称为“人工智能教母”。

同时，李飞飞也是一名创业者，今年4月她创立了一家人工智能初创公司World Labs （世界实验室），专注于开发能够执行高级推理并理解对象之间3D空间关系的“空间智能系统”。此后，仅4个月该公司就获得了1亿美元的融资，跻身独角兽行列。