ChatGPT加持的《上古卷轴5：天际VR》带来更沉浸式自然交流

查看引用/信息源请点击：roadtovr

这是关于VR游戏如何利用AI来进一步提升沉浸感的观察

（映维网Nweon 2023年04月27日）ChatGPT并不完美，但这个热门的AI聊天机器人可以访问大型语言模型LLM，这意味着它可以做很多你可能想不到的事情，比如允许《上古卷轴5：天际VR》中的所有NPC进行自然的对话，并回答有关标志性幻想世界的问题。是的，这是关于VR游戏如何利用AI来进一步提升沉浸感的观察。

YouTube用户Art from the Machine日前发布了一段利用ChatGPT来优化VR游戏《上古卷轴5：天际VR》的视频。

尽管相关Mod目前尚不可用，但根据视频演示，它可以利用人工智能聊天机器人ChatGPT和人工智能配音工具xVASynth，并允许你与游戏中的角色进行自然对话。

开发者表示，相关脚本可以实现语音的嘴唇同步和NPC对游戏中事件的感知。尽管当前版本依然有点僵硬，但这已经是迈出了相当大的一步，并令人对未来有了无限的憧憬。

以下是Art from the Machine对所述项目的描述：

我在数周前发布的一段视频展示了我正在编写的Python脚本，它可以允许你通过ChatGPT和xVASynth与《天际VR》的NPC对话。从那以后，我一直在努力将这个Python脚本与《天际VR》自己的Mod工具集成在一起，而我已经达到了令人兴奋的里程碑：

NPC现在知道了他们目前的位置和时间。这为ChatGPT动态地对游戏世界做出反应开辟了诸多可能性。举个例子，我没有再遇到在店主下班后进行以物换物的问题。NPC同时会意识到玩家在对话过程中拾取的物品。这意味着，如果你掠夺了一个箱子，收获了一张兽皮，或者摘了一朵花，NPC将能够对相关行为发表评论。

NPC现在与xVASynth进行嘴唇同步。这显然比以前那种浮夸的概念验证声音要自然得多。我同时进行了一定的优化提升，比如将响应时间减少到15秒左右，并添加了一个开始对话的咒语。

当一切就绪时，能够在虚拟现实中坐下来并与这些角色交谈是一种令人难以置信的超现实体验。没有什么比听到相同的重复声线更能让我失望。现在，没有两种反应是相同的。当然，我还有很多工作要做。

你可能会注意到，尽管Art from the Machine表示他们正在使用语音转文本与ChatGPT 3.5驱动的系统对话，但NPC的实际语音依然相当机器人化。视频中听到的声音是由xVASynth生成，然后在视频编辑过程中插入。

什么时候可以自己下载并尝试？嗯，开发人员表示，发布项目依然是一个有点棘手的问题。

Art from the Machine表示：“我还没有真正考虑如何发布，所以我想我必须深入研究其他ChatGPT项目，看看其他项目是如何解决API关键问题。对于那些不愿意支付API费用的人员，我希望可以能够替代性地接到本地运行的LLM模型。”

另外，这位开发者表示，提供更自然的NPC反应是一个需要解决的领域：“目前，我已经将NPC设置成说‘让我想想’，以这种方式表明NPC听到了你的声音，而且响应正在生成过程中。但你是对的，这其实可以扩展到从几个不同的填充行中进行选择，而不是每次都重复相同的对白。”

尽管视频在提示后明显加快了速度，但这主要归功于语音生成软件xVASynth，而由于它是在本地运行，它确实会减慢响应管道的速度。开发者补充道，ChatGPT本身不会影响性能。

当然，这不是我们看到的第一个使用聊天机器人来丰富用户沉浸感的项目。Lee Vermeulen是Modbox的开发者李·维默伦（Lee Vermeulen）曾在2021发布了一段视频，展示了他使用OpenAI GPT 3和AI配音软件Replica进行的第一次测试。在视频中，他谈到了他如何为每个NPC设置参数，从而提供他们应该拥有的知识，以指导他们应该做出什么样的回应。

实际上，正是维默伦的视频激发了Art from the Machine开始制作Skyrim VR mod。

能够自然地与NPC交谈，即使有点结结巴巴，这可能都会比费力浏览大量2D文本菜单或重复再重复的机械式反应更可取，并且可以大大提升XR的沉浸感，并提供了一个与游戏及角色产生深度联结感的机会。