像教小孩一样训练AI大模型！谷歌Deepmind如何指导训练机器人任务

谷歌DeepMind有一个名为RT-2人工智能模型，可以指导它从未被训练过的机器人任务。

该模型从网络和机器人数据中学习。然后，它将此信息转换为机器的简单说明。

在测试中，该模型被要求采取机器人数据中从未见过的动作，例如将橙子放入匹配的碗中。为了遵循这些命令，系统必须从基于网络的数据中转换知识。根据DeepMind的数据，该模型在这些操作中取得了62%的成功率 - 是其前身RT-1模型的两倍。

“就像语言模型在网络上的文本上进行训练以学习一般思想和概念一样，RT-2从网络数据中转移知识以告知机器人行为，”DeepMind机器人负责人Vincent Vanhoucke说。“换句话说，RT-2可以说是真正的机器人。

RT-2在没有经过训练的机器人任务进行了各种机器人技能测试

测试表明RT-2具有令人印象深刻的泛化能力。它还改进了以前从未遇到过的对机器人数据的语义和视觉理解。

此外，该模型可以使用基本的推理来遵循新的用户命令。令人印象深刻的是，它甚至可以执行多阶段语义推理。例如，当指示选择一个可以用作锤子的物体时，RT-2正确地将岩石识别为最佳选择。

在一次测试中，RT-2发现岩石是作为简易锤子拾起的最佳物体

在另一项评估中，该模型被命令将一瓶番茄酱推向蓝色立方体。

场景中有几个项目，但训练数据集中唯一的项目是立方体。尽管如此，RT-2还是成功地将番茄酱推向了指定的目的地。

RT-2在实际任务中表现良好

DeepMind将RT-2视为人工智能的突破。伦敦实验室表示，该模型使我们更接近有用机器人的未来。.

“RT-2不仅展示了人工智能的进步如何迅速级联到机器人技术中，它还显示了对更多通用机器人的巨大希望，”Vanhoucke说。“虽然在以人为中心的环境中启用有用的机器人仍有大量工作要做，但RT-2向我们展示了机器人技术的令人兴奋的未来。

从谷歌DeepMind  RT-2的训练方式来看，这不就是像教会小孩一样训练学习各种事物？难怪大模型越来越变得聪明，不是吗？

参考来源：https://robotics-transformer2.github.io/assets/rt2.pdf