只用一张RTX 4090显卡，开发者用视频生成模拟《超级马里奥兄弟》

近期，AI 技术在游戏开发领域取得了令人瞩目的进展。

继谷歌的 GameNGen AI 模型展示了使用图像扩散技术生成可玩版《毁灭战士》（Doom）的能力后，一个新研究项目又将目光投向了另一款经典游戏——任天堂的《超级马里奥兄弟》（Super Mario Bros）。

这个项目展示了 AI 如何通过视频生成技术来模拟这款 1985 年发行的经典游戏，为未来的游戏开发开辟了新的可能性。

公开资料显示，MarioVGG 项目主要由 GitHub 用户欧尼·周（Ernie Chew）和布瑞恩·林（Brian Lim）管理，其相关论文由加密货币相关的 AI 公司 Virtuals Protocol 发表。

该项目主要利用机器学习技术，通过研究游戏视频和输入数据，来推断游戏的物理规则和游戏动态。

研究人员使用了一个包含 280 个游戏关卡的公开数据集，游戏画面超过 737000 帧。

为了简化游戏情况，他们只关注两种潜在输入：向右跑和向右跑并跳跃。经过约 48 小时的训练（使用单块 RTX 4090 显卡），模型就能够从静态的初始游戏图像和文本输入生成新的视频帧序列。

MarioVGG 采用了文本到视频生成的方法来重现《超级马里奥兄弟》。模型通过学习游戏画面，能够根据玩家的文本输入（“跑”或“跳”）生成相应的游戏画面序列。

具体来说，模型只需要接收一个初始的游戏画面帧和所需动作的文本描述（例如“跳跃”），然后学习生成一系列可视化描述所需动作的帧。

为了提高效率，研究人员将输出帧的分辨率从原始 NES（注：Nintendo Entertainment System，是任天堂生产的第一代家用游戏机）的 256×240 降低到了 64×48 或 128×96。

此外，他们将 35 帧的视频时间压缩为仅 7 个生成帧，这些帧以均匀的间隔分布，从而创造出比实际游戏画质更粗糙的游戏视频。

尽管采用了这些方法，MarioVGG 模型仍然面临着接近实时视频生成的挑战。研究人员只用了一张 RTX 4090 显卡，需要大约 6 秒钟才能生成 6 帧视频序列，视频长度仅仅超过半秒，这还是在极其有限的帧率下。

研究人员承认这“对于交互式视频游戏来说既不实用也不友好”，但他们希望未来的优化可以改善这一速率。

尽管存在上述限制，MarioVGG 仍然展现出了一些令人印象深刻的特性。

首先，模型能够纯粹从训练数据中学习游戏的物理规则，包括马里奥从悬崖边跌落时的重力效果，以及在遇到障碍物时停止前进。

其次，虽然 MarioVGG 主要关注模拟马里奥的动作，但它也能有效地为马里奥生成新的障碍物，这些障碍物“与游戏的图形语言相一致”。

此外，MarioVGG 能够生成独特的马里奥关卡，只有第一帧输入来自真实游戏状态。

然而，MarioVGG 也面临着一些显著的挑战，比如研究人员观察到，输入动作文本并不总是被模型所遵守。

有时还会出现明显的视觉问题，如马里奥有时会穿过障碍物和敌人、颜色闪烁、在帧之间缩小/增大，或在多个帧中完全消失后又重新出现。

模型并不懂得游戏逻辑，即使在马里奥死掉之后，它还是会继续渲染视频帧，而不是回到最后的检查点。此外，关卡和物体的生成也不可控，只能通过程序化生成。

MarioVGG 项目为未来游戏开发开辟了新的可能性，展示了 AI 如何通过学习视频数据来理解和重现复杂的游戏机制。

研究人员希望这代表着“产生和展示可靠和可控的视频游戏生成器”的第一步，甚至可能在未来“完全使用视频生成模型取代游戏开发和游戏引擎”。

然而，要实现这一愿景，还需要解决诸如实时性能、画面质量、游戏逻辑一致性等一系列挑战。例如，如何在生成的游戏中决定终止状态，这仍然是一个开放的研究问题。

尽管如此，考虑到 MarioVGG 项目仅使用了相对较小的训练数据集和单个消费级图形处理器（GPU，Graphics Processing Unit），其取得的成果已经相当令人印象深刻。

Virtual Protocols 公司在推特上乐观地表示：“无限交互世界的时代已经到来。”

总的来说，虽然视频生成制作游戏的方法还无法完全替代传统的游戏开发方法，但它为游戏产业注入了新的活力，让我们得以一窥 AI 驱动的游戏未来。

这些新项目为游戏设计和开发提供了新的思路，展示了 AI 如何通过学习视频数据来理解和重现复杂的游戏机制。

未来，我们可能会看到，随着技术的发展有望出现更多 AI 辅助的游戏开发工具，甚至是完全由 AI 生成的游戏世界。

参考资料：

https://arstechnica.com/ai/2024/09/new-ai-model-learns-how-to-simulate-super-mario-bros-from-video-footage/

https://www.pcmag.com/news/this-ai-model-can-create-a-super-mario-game-using-a-text-to-video-generator

运营/排版：何晨龙