DeepMind训练人形机器人自主踢球，会控球会射门会防守
有人问ChatGPT“国足如何能在世界杯夺冠？“，给ChatGPT直接整崩溃了……
网友锐评：我第一次看它考虑这么久。
前段时间，当整个 AI 社区都沉浸在 ChatGPT 带来的狂欢中时，谷歌DeepMind悄悄做了一些可以自己学习踢足球的具身智能体小机器人，把一直以来坚持的强化学习带到了物理世界。
机器人1v1：
会控球会射门会防守，
不管怎么推倒，它都能快速站起来。
话说买两个回家看它们踢球好像也挺有意思的。
额……一看价格是我高攀不起了。
▍从机械骨架到智能足球员
其实踢球的是Robotics公司的OP3机器人，它是一款专为研发与教育设计的微型机器人平台，用户将其套件购回后，可以利用C++或Python进行二次开发，为其赋予各种能力。
初始版本的OP3还只是一个没有灵魂的机器人骨架，当Deepmind用深度强化学习为其注入灵魂后，才有了我们看到的这一幕。
这不就是未来的玩具嘛！不知道大家小时候有没有看过一部动画片——《超智能足球》，拥有一个里面的AI足球员是多少孩子童年时期的梦想！
AI+灵活机器人硬件，看来超智能足球球员的初始版本已经问世了！
所以，各位做玩具的老板注意了，一定要开始思考怎么用上AI了。当然，现在OP3的价格还是太贵了，还有很多低成本的机器人硬件方案，在这里就不多做阐述了。
据了解，研究人员在动态多智能体环境中研究了小型类人机器人的全身控制和对象交互。他们训练了一个有20个可控关节的微型机器人进行1v1足球比赛，观察了本体感觉和比赛状态特征。
虽然机器人原本移动缓慢笨拙，但通过深度强化学习，研究者成功合成了自然流畅的动态敏捷动作，实现了复杂的长期行为。
▍AI自我学习比人工编程快1.5倍！
再来看看Deepmind的训练方案：
想让机器人学会踢足球，它就得拥有多种技能：包括行走、踢腿、站立、得分和防守，所有这些都需要协调一致才能进球并赢得比赛。
因此，首先需要分别训练这些技能，然后在虚拟环境中调整策略。这样做能够以较低的成本快速获得大量训练数据，使机器人能够在虚拟环境中与自己进行多次对战，将各项技能结合起来运用。
为了尽量减少转移到真实世界后出现的延迟，研究人员还在虚拟环境中增加了噪声干扰与模拟延迟。
一旦在虚拟环境中训练有素，这些技能将被迁移到OP3机器人身上，使其能够在真实世界中踢足球。
可以看到，机器人能够快速从跌倒中恢复过来。为了实现成功的射门得分，它还能快速转身、自我定位、甚至拦截移动中的球。
经过最终测试，研究人员发现，相较于人工手动编程的技能，AI的自我学习表现更加出色。与训练前相比，OP3的行走速度提升了156%，起身时间缩短了63%。
▍One more thing
当然，深度强化学习在足球机器人的培养中远不止于此。Robotics公司与DeepMind的合作揭示了一种未来的新可能，将AI和机械技能相结合的娱乐、教育和体育方向。
想象一下，孩子们不再仅限于观看动画或玩虚拟游戏，而是可以与一个真实的AI足球机器人互动，共同训练，甚至挑战一场真实的比赛。这样的科技不仅能促进身体锻炼和战略思维，还可能将AI的魅力带入每个家庭。
尽管这样的机器人价格现在还相对昂贵，但随着技术的不断成熟和规模化生产，这样的未来或许离我们并不遥远。屏幕前的你期待这一天的到来吗？