ChatGPT+人形机器人会是什么样？
关注脑机接口社区，了解更多脑机接口前沿
ChatGPT+人形机器人会是什么样？
1
ChatGPT+人形机器人
在ChatGPT发布之前，就有一家国外机器人公司 Engineered Arts将其人形机器人Ameca接入GPT3，实现其人形机器人可以自由地跟工程师对话。
我们之前介绍过会做表情的机器人，就是Ameca及其不同版本。它因丰富且超逼真的人类表情而引起了大量的关注，比如皱眉、眨眼、瞪眼，咧嘴笑等等。
当Ameca接入GPT3后，它便能与工程师们自由的聊天了。
那Ameca接入ChatGPT后，会怎么样呢？也许她真的要逆天了。
2
ChatGPT控制机器人
ChatGPT以其强大的信息整合和对话能力惊艳了全球。它可以对各种提示和问题生成符合人理解的响应。它主要用于生成文本、翻译信息、进行计算和解释你想要了解的内容。
微软在OpenAI上投入了数十亿美元，最近还将ChatGPT集成到必应搜索引擎中。近日还将ChatGPT的功能扩展到控制机械臂和空中无人机。本周早些时候，微软发布了一份技术论文，描述了一系列可用于指导语言模型解决机器人任务的设计原则。
“事实证明，ChatGPT可以做很多事情，但它仍然需要一些帮助，”微软在谈到其编程机器人的能力时写道。
微软表示，为机器人控制提示LLM提出了几个挑战，例如提供对问题的完整而准确的描述，确定正确的可允许的函数调用和API集，以及使用特殊参数对答案结构进行偏向。为有效地将ChatGPT用于机器人应用，研究人员构建了一个由以下步骤组成的流程：
1. 首先，他们定义了一个高级机器人函数库。这个库可以特定于感兴趣的场景，并且可以映射到机器人的控制堆栈或感知库中现有的低级实现，这样 ChatGPT 就可以推断它们的行为。
2.接下来，他们为ChatGPT构建一个prompt，该提示符描述了任务目标，同时还标识了库中可用的高级函数。prompt还可以包含关于约束的信息，或者ChatGPT应该如何组织其响应。
3. 用户在回路中评估 ChatGPT 的代码输出，要么通过直接分析，要么通过模拟，用户可以使用自然语言向 ChatGPT 反馈答案的质量和安全性。
4.在对ChatGPT生成的实施方案进行迭代后，用户对解决方案满意的话，代码可以部署到机器人上。
3
ChatGPT控制机器人的例子
在一个例子中，微软的研究人员将ChatGPT用于控制机器人手臂的场景。它使用对话反馈来教会模型如何将最初提供的API组合成更复杂的高级功能，由ChatGPT自己编码。使用基于课程的策略，该模型能够将这些学习到的技能逻辑地链接在一起，以执行诸如堆叠块等操作。
这个模型还能用木块搭出微软的标志。它能够从内部知识库中回忆起微软的标志，以SVG代码的形式“绘制”标志，然后使用上面学到的技能来找出哪些现有的机器人动作可以构成它的物理形式。
研究人员还尝试使用ChatGPT控制一架空中无人机。首先，他们给ChatGPT一个相当长的提示，列出它可以编写的计算机命令来控制无人机。在此之后，研究人员可以发出请求，指示ChatGPT以各种方式控制机器人。这包括要求ChatGPT使用无人机的摄像头识别饮料，如椰子水和可口可乐罐。研究人员表示，它还能够仅根据prompt的基本API编写无人机导航的代码结构。