中手游 x 腾讯云前沿科技峰会: 《仙剑世界》应用AIGC提升效能
7月28日，“游戏云科技峰会——前沿趋势科技 数字场景再加速”在上海召开，中手游《仙剑世界》发行总经理林炳聪受邀出席大会并发表“AIGC在开放世界游戏的应用”演讲。同天会后，与会嘉宾共同品鉴了由腾讯云和Intel联合主办的“文化之根 传承之魂—仙剑世界沉浸式闭门晚宴”，晚宴充分结合中手游《仙剑世界》所包含的御剑、书法、古乐等仙侠国风元素，以四大亮点令与会嘉宾共同体验了一场独特的饕餮盛宴。
以下为演讲原文：
各位伙伴大家好，我今天分享的主题是《AIGC在开放世界游戏的应用》。现在AI的发展非常迅猛，各种各样的新技术层出不穷，而我是发行出身，所以今天主要分享的内容，还是以《仙剑世界》为案例，探讨游戏发行如何应用AI技术，来提高发行和产品的效能和表现。
AIGC在行业内应用最成熟和广泛的应该是AI绘画，众所周知，AICG支持AI辅助绘画、图生图、文生图三种方式，这3种方式都对我们的业务有非常大的帮助。
这里展示的是我们使用AI辅助绘画的2个小案例。
第一个案例里面，我们利用了ControlNet、Openpese提取动作模型，结合预先训练的龙葵Lora实验模型，可以快速生成想要的创意图片。
第二个案例，就是比较常规的应用。AI可以辅助细化线稿、辅助上色，我们的部分美宣图，利用这项技术可以快速生成质量较高的作品。
当然，现在的AI绘画还没法一次过就能得到我们想要的图片，大部分生成的结果都会存在细节瑕疵，所以需要原画挑选多张合适的图片，去拼装出最后的成果图。但即使如此，我们原画的产能也得到了成倍的提升，且只需要对一个初级原画师做基础培训，就能产出中上水平的原画作品，通过AI辅助绘画，目前原画成本降低了约50%。
上面的两个案例主要是发行方面的应用，相对来说风格和品质的边界比较宽。在研发方面，因为设计和品质都有统一标准，所以主要是利用AI的批量生产能力来提供创意方向。
比如这里的两个案例，我们用批量出图来生成大量的脸部设计和角色形象设计，找到合适的方向再由原画师去做具体的原画设定，从而节省了不少创意和试错成本，加快研发效率。
目前，我们应用比较多的还是Lora和Midjourney这两个模型。其实AI绘画最大的困难点还是如何训练合适画风的模型。现在国漫、二次元风格素材比较多，所以在社区衍生物料，比如表情包、同人图等应用比较广，也可以用AI绘画做一些营销话题活动。
像风格化的画风，就会受原始素材量的影响，我们不得不用多种风格混合的方式，再把AI产出的图喂回去，来慢慢训练出合适的模型。比如右边的案例，得到这个模型之后，就可以应用到游戏中做剧情风格插画，再搭配人手对插画做切片处理，还能快速制作2D Live动画。经过实践，现在3个人花两周就能做一条1分钟的片子，作为过场动画应用到项目里，可以有效提高剧情沉浸感。
在3D领域，现在已经能够有局部应用落地。这个案例里面，我们就是先用Midjourney生成面部原画，再通过AI生成面部模型，最后对成品做部分调整即可。这项技术主要还是应用在NPC制作上，能够节省一部分的模型成本。
当然，我们也在研究AI直接生成3D模型的技术，只是目前的研究成果，生成的模型精度都还达不到要求，这里就不做演示了。
AI还有很多能够帮助我们提升游戏体验的应用。比如AI捏脸，原理就是通过原画提取面部模型参数，再自动生成五官，文字捏脸则是应用了文生图，再图生3D的结合来实现。AI捏脸可以帮助玩家快速生成想要的角色形象，提高玩家的个性化表达。
其次是AI语音，现在智能AI已经能够实现用预录制的声音来训练配音音色，输入文字就可以自动生成配音。这项技术能够批量应用在NPC对话和支线剧情中，从而提升整体游玩感受。后续我们还在研究如何应用AI生成方言配音，对于游戏的区域文化属性会有更大的提升。
另一项技术则是AI生成面部表情，AI可以识别语音内容来生成面部微表情和口型，结合AI语音，未来我们只需要输入一段文字，就可以自动完成NPC的剧情表演。
最后是NPC-AI，我们设计了一套基于事件驱动的AI决策框架，框架以行为树为底层结构，嵌入分层状态机、GOAP、HTN、Suspend行为队列等多种决策算法，可以快速生成NPC行为，在保证运行时性能的同时，让NPC行为表现更多样，从而让游戏世界的社会生态更加真实。
我们也将ChatGPT应用到游戏中。在《仙剑世界》里面，我们把ChatGPT接入到主角身边的吉祥物“圆满”身上，玩家可以通过文字或者语音，跟圆满实时对话，充当解闷、向导的作用。且还能通过圆满来执行主角行为，比如跟圆满说“把我传送到杭州城”，就会自动将主角传送到对应的传送点。
在其他NPC身上，则是会存储玩家跟NPC的对话数据，从而影响到NPC的行为，玩家可以通过跟NPC互动获得更多的交互乐趣。
其他还有一些我们正在研究、或者跟合作伙伴一起摸索的AI应用方向。
比如AI生成3D动作，通过读取动画片段提取3D动作数据，快速生成模型动作，能够节省不少研发动作成本；
其次是王者荣耀已经应用的，通过识别游戏内容信息，获取游戏标签和高光时刻，可以自动生成精彩瞬间、高光集锦，这项技术应用于社区可有效提高用户分享频率，促进社区活跃和内容生产。
这项是通过AI训练贴图、材质参数模型，现在实景扫描生成3D模型的技术已经非常成熟，将两项技术结合，未来我们可以快速的生成符合项目风格的模型组件，且能够支持生成不同面数规格，大大降低研发成本。
最后是场景识别，通过提取场景参数，通过图生3D、文生图转3D的方式，快速生成家园布局。随着这项技术的深度研究，我们希望未来可以通过AI来自动生成游戏地编，极大提高研发产能。
以上是《仙剑世界》基于AIGC与游戏业务结合的应用和探索，我们相信随着技术的发展，AI将会对行业带来极大的冲击，作为游戏发行方，我们也期待越来越多的新技术面世，通过科技应用来推动行业发展。