当前位置:首页|资讯|AI绘画

我们来了一场300人的AI绘画图灵测试

作者:游戏葡萄发布时间:2023-11-26

原标题:我们来了一场300人的AI绘画图灵测试

前言

2023年,生成式人工智能的浪潮席卷全球,AI绘画凭借着快速的出图和易上手的使用,迅速掀起了大范围的讨论和实践。生产工具端,我们看到Open AI的DALL·E 每天平均生成超两百万张图像,也看到Midjourney凭借11人的团队打造了千万用户量级社区;在用户体验端,既有《太空歌剧院》在艺术领域崭露头角,也有不少类似无尽的三月七的整活体验。

今天我们邀请到了Infinity Ward Lead UI Engineer董晶晖、Tiamat创始人青柑、星引擎社团游戏设计师南瓜&资深美术Angel,一起来探讨AI能生成有趣的创作风格和元素吗?

  • 董晶晖:Infinity Ward Lead UI engineer,参与开发《使命召唤:现代战争2》、《使命召唤:现代战争》、《使命召唤:战区》、《使命召唤:二战》和《Skylander Battlecasters》,同时个人专注 AIGC 创作,喜好探索不同的可能性,着迷于视觉元素和表达;
  • 青柑:Tiamat创始人,相信科技和创意结合的浪漫,随时期待AI的新可能;
  • 南瓜:星引擎社团游戏设计师,曾参与制作《幻想计划》《交响星辉》《星引擎Party》;
  • Angel:星引擎社团资深美术设计师,曾参与制作《仙剑OL》《龙之谷2》《交响星辉》《星引擎Party》。
  • 成志&ROSA:主持人,AI+游戏市场观察者,GameTrigger投资副总裁

他们探讨的话题包括但不限于:

  • AI和人工作画有哪些区别?
  • AI绘画的出图管线探索
  • AI目前已经可以助力大型游戏开发了吗?
  • AI绘画如何助力小团队开发?
  • AI绘画想融入开发管线面临哪些挑战?
  • 模型层面有哪些技术探索?

我们将他们的部分讨论整理成文,期待能带来新的思考和启发,Enjoy~

图灵测试:辨别AI作画

Q1

南瓜

我挑了些偏氛围感的插画,但里面只有一张是人画的,猜一猜是哪张(还有张是我自己用AI出的图)?这类氛围图主要传达大致的感觉,细节倒不那么重要。

Jim

我倾向于在3和4里面挑选。虽然我认为4确实有些冗余的地方,AI出图也很容易有画面的感觉,但我还是坚持4是人画的吧。

南瓜

正确答案是2。1和4出自我比较喜欢的AI创作者,氛围感很棒(图一:小红书@ZhouPengART,图四:小红书@灵言-01)。其实2虽然是人画的,但里面也有不少小细节处理得不够好。不过作为氛围图而言,已经能够传递出大部分感受,这种就没要去解读类似笔触等每个细节。

编辑补充现场观众正确率不足30%

Q2

Jim

我这里四组图片对应的是不同主题,但不一定是一张人工、一张AI,可以猜猜看。

1.左上-真人题材组

南瓜

我觉得2是生成的,它的头发和五官有一点机器的影子在里面;1我感觉像是真人照修片。

Jim

其实 1是AI生成,2是真人,现在很多真人照片还挺难区分的。

2.右上-2D题材组

Jim

这里1是AI画的,2是真人。与写实照片相比, AI会更擅长把一些逻辑性的细节添加在作品里,但是如果在写实照片里有太多元素就很可能出现细节问题。

3.左下-创造性题材组

Jim

这组两张都是AI画的。它们的作者很擅长用AI进行世界观创作,你很难直接通过内容去反推prompt,复刻的难度很大

4.右下-3D渲染组

Angel

我猜左边的是AI,因为它光影上比较假,太理性了。

Jim

对,以及左边的图会有细节冗余,比如头上的线,没有太多意义。

Q3

青柑

我之前也有过美术经历,最初AI出来的时候我是自愧不如的,而这几张图不管是对于事情本身的表达,还是对于设计的感受,都让我印象深刻,可以猜猜哪一张是人画的。

答案是4,我们也一直在探索AI表现出的氛围、意境,在插画领域能否有足够好的表现。如果再稍微修一下图,就更难准确的去判断了。

Q4

Angel

我这里只有一张是人画的,都是二次元、卡通风格的人物角色。

Jim

我猜是4,主要是人物细节从设计上看比较符合逻辑性。比如左边角色脚下并不是没画好的阴影,而是穿的冰靴。

Angel

对,答案是4。

董晶晖Jim分享

AI出图管线探索

我本职是参与《使命召唤》系列的UI开发,个人平常在用Midjourney、Stable Diffusion进行角色和世界观搭建的创作。尽管我并不是直接的美术岗,但设计都有相通性,都在用不同工具去解决问题满足需求。那今天我的分享就从如何用AI工具进行角色设计、寻找合适的管线展开,希望对大家有启发。

(小红书@Jim Huihui)

我将以近期在探索的S项目(个人AIGC作品)为例,希望既能通过AI工具创作出新的视觉元素, 整条管线也能满足角色的设计需求。

在开始前,我们首先需要了解所使用的工具,关于Midjourney,有四个特点想跟大家分享:

1. 第一,它拥有强大的素材库,也可以说它拥有强大的模型,某种意义上甚至可以把它当成一个图片搜索工具;

2. 第二,它具有很强的艺术风格模仿能力,对比SD必须训练模型或者Lora,MJ能在相同资源前提下表现更佳。

3. 第三是关于MJ的劣势,它很难保证出图一致性,尤其是以工业标准去审视时;

4. 第四是无法避免的Prompt污染,多个提示词间可能相互影响,比如输入红色的衣服、蓝色的天空,出图可能变成蓝色的衣服和红色的天空。

具体来说,我希望通过S项目达成以下的设计目标:

1. 避免开盲盒的出图流程,提高出图率,在个人使用时反复修改提示词或出图,固然能在几十张里面找到一两张满意的,但这种开盲盒流程一是不能到达工业管线要求,二是容易造成注意力分散,沉浸于开盲盒的眩晕中;

2. 找到稳定出图流程,当我有新需求时,当前的流程不需要进行大的修改,只需要做细微调整,这也是AI工具达到工业标准的目标之一 ;

3. 我希望设计需求优先级更高,不能因为AI限制而妥协;当AI工具无法实现需求时,不应该因此调整需求;同时也是在探索AI工具的上限;

4. 尽可能保证出图一致性,尽管对比于SD,一致性并不是MJ所擅长的,但我还是希望尽可能达到这样的目标。

接下里,我介绍一下希望设计出的人物形象:

  • 她是一个擅长在雨天进行任务的杀手,擅长使用各种自制武器,这些武器日常伪装会被成工具甚至玩具;她的外在形象不具有威胁性,以便降低目标的警觉性,但实际却有强大的行动力和攻击性。
  • 基于此我提炼出三个关键词:杀手、反差、雨水。

接下来是我的出图流程,总体可以分为四个步骤:

1. 第一步我称为0.5版本,主要是收集素材

因为这个人物喜欢在雨天出击,所以我着重收集了雨衣或是防水材质衣服的素材;同时我希望它的造型不仅具备功能性,也具备一定的装饰性,所以也收集了类似雨衣设计的时尚领域素材。

同时,我会尽可能的收集现实中的真实照片。主要是因为,第一,素材需要尽可能高质量、高分辨率;第二,我想避免使用其他美术已经出现的出图或设计,在最早期我不想引入他人的美术风格、设计特点到管线内。

最后是尽可能收集全身图素材,这对于生成全身像的人物设计比较重要。

2. 0.8版本使用MJ Blend出图,找到贴近目标的设计。

之所以使用Blend模式,主要是因为更能掌握变量,可以比对A+B和A+C提示词下的出图结果;而Imagine模式下,为了达到设计需求势必会加入多个提示词,这样就很难通过排除或添加某一个提示词来清晰的知道影响,容易陷入多样性有限的集合

且Blend也可以通过限制Prompt数量来减少提示词污染。我不需要像Imagine模式里用最仔细清晰的提示词描述设计细节,避免不必要的元素引入或者冗余信息。

最后我选择了一些带有符合需求方向的设计元素的出图,比如衣服贴近防水材质、具备宽大和半透明的袖子、运动服、人物全身像等。

3. 0.9版本使用MJ Imagine,试图达到稳定、一致的风格和成果。

以上一步的素材作为引子,再添加关于细节和艺术风格相关的提示词。我把艺术风格提示词作为提升一致性的工具,可以通过Describe功能去找一些认为不错的艺术风格素材。

4. 1.0版本最终在Photoshop处理图片,加入元素和细节,把同样用AI生成的武器和道具最后添加到素材当中,完成基本人物出图。

可以看到在这个效果图中,人物的衣服材质接近于雨衣,具有宽大的袖子,戴着战术手套;在左边也可以看到他们的武器,有匕首气钉枪以及装有腐蚀液的水枪,主要用于刺杀过程中的攻击,以及刺杀结束后逃离。人物的衣服款式、材质、武器装备等都比较符合最初的雨中杀手设定。

5. 回顾整个管线,我着重想解决的就是Prompt污染问题和一致性问题,但离工业化水平仍有差距。且目前存在难以生成手持武器或装备状态的人物,面部风格也很难做到完全一致。

基于上述流程可以总结出关于AI画图工具的四点阐述:

  1. 多样性:可以从艺术风格和生成元素两个维度探索,但会受到模型限制;
  2. 一致性:目前很难达到工业标准的一致性,设计需求的复杂性和出图一致性成反比,尽管像SD有提供强大插件试图解决,但目前最有效的方式仍是能通过大量的素材训练解决,甚至一个模型只服务于一个角色。在这种情况下,反而是工业级别的团队才有能力去进行操作。
  3. 可控性:工具可控部分有限但发展迅速,对用户愈发友好;不管是闭源还是开源的AI工具,势必要有更多对用户友好的接口,才能让大家更好的去使用和去了解;
  4. 创造性:产出率决定于使用者的方式和创造性,我希望能用大家更为熟悉的元素和文化作为基础,创造新的视觉元素,创造出让人熟悉、但是又新颖的体验,创造出符合我们感同身受的形象,甚至是IP。

最后总结:

AI为行业整体带来的正面影响大于负面。从工程学的角度来说,我们还没有将AI工具发挥到极限,如同最初的摄影师只追求还原真实,我们还处于新技术的眩晕当中,我希望我们能创造出让大家“熟悉又新颖“的事物。

Tiamat青柑分享

模型层面的技术发展

关于Tiamat:

我们最早在22年3月份开始在小红书上发布模型生成的结果,比DellE 2和MJ公测都稍早,包括Tiamat这个名字都是最早期我们核心的、帮助我们测试模型和反馈数据的用户一起投票投出来的。我们也比较了解和支持开源生态,且非常相信开源生态会带给整个行业变革。

目前公司产品有三个,一是更加专业的网页版Tiamat,二是小程序版本,三是QQ频道版本。我们希望做最有温度、最亲民的AI。

关于工作流:

我对于游戏立绘方面很感兴趣,公司也做了不少落地的项目,在这以角色设计为例讲一下我们的工作流。其实像Jim老师刚才出的那种设计稿离实际游戏内还有一段距离,在我们接触的案例中,通常是已经做好了设计草图,在得知角色的形象细节、衣服材质、整体设计观感等要素后,我们要做的是产生实际可上线游戏的素材图。

  1. 用Tiamat生成角色剪影 在有了设计稿后,我们主要关注剪影和游戏设定的感官是否一致,比如这张立绘是一个站立的角色,有倒梯形的剪影,这里不太关注角色每个设计元素是否准确,而是先定草图。 此外还要注意版权问题,所有东西都是从零生成,或是基于客户给的内部素材。
  2. 人工调整 在生成剪影的基础上,我们需要人工将相关素材贴上剪影,此时有很多设计细节仍需要人工调整,包括材质、光影等,这一步最后的质量需要达到一般二游首页立绘的水平。 Jim老师刚才说的一致性问题现在就暴露出来了,比如我现在做出来一张角色阶段一,当他变为阶段二时,我要怎么样保证他的脸、气质等设计都不变。目前解决方案仍主要靠抠图换脸,哪怕相关元素已经设计好了,要做成实际使用的产品都需要先用AI从零生成一个剪影,人手去把元素贴上去,再去用类似的技术生成出图,最后再调整面部、饰品、材质等细节。 尽管经历了上述一个不短的路径,生成的立绘依旧不能过于复杂,如果设计元素过多,AI仍无法很好地处理。

关于创作中的问题:

  1. AI缺乏联想能力 我们比较专攻二次元游戏,而二游角色的魅力非常依赖设计细节、人物背景、世界观设定,而AI还不能完全理解这些内容。比如上图中的牧师形象,她背后的天平、小树枝等元素来自于人拿到素材或设计要求后大脑展开的联想。而AI目前的联想触手范围不足,很难从零到一的把这些步骤做好,也没有办法做精细的联想。
  2. 技术上有局限 在技术细节上,存在图像细节充分,但并不代表它的单图像素足够高,就算训练素材高清、高像素,出图却不一定有充分的细节、并且满足项目需要的像素清晰度。
  3. 背景图类美宣实现落地 AI作为一个辅助工具,在帮助快速将设计好的元素、有意思的设计落地上,已经是打通了的。在游戏领域,背景图类美宣已经能实现不错的效果,相比于对角色形象的高敏感度,人类对背景图的关注没那么强。接下来我们会着重在设计审美和想象力本身的工作上下功夫。

圆桌讨论

南瓜分享:小团队AI使用情况

南瓜

我主要是以游戏制作人的身份展开,更偏向于前期概念跟企划上面。我们社团在AI美术上贯彻的观点是:使用AI作为工具,但我们不要变成AI的工具。AI对于我来说是作为传递感受的工具,哪怕细节上存在错误,但其他岗位的同学可以直观的了解我想要的感受,如果只读文字的话,不同人脑内产生的画面可能会有比较大误差。相比于以前策划案上可能出现的“灵魂绘图“,现在AI已经能传递出理想的氛围感。

将AI应用在背景说明上,既可以避免前面提到的问题,又能最大化发挥作用。作为概念设计图,传递感受就是目的,只有到了真正的游戏立绘上,细节才会变成目的。氛围图就是传递感受的,图像里面所有的信息都是配角,作为概念设计图,有八根手指也不会影响它氛围是那样的。但落地到真正的游戏立绘上,只有细节画的很好玩家才愿意氪金,这点我们觉得目前的功能还差的蛮远。

推荐一个我认为目前已经不错的落地场景:AI插画。比如B站上有小说音频会配一些AI的插图,尽管插图和小说内容可能不太相关,但读者的主要注意力并不在图片上,主要是配合文字传递氛围,而如果请画师去画一套,成本将非常高。

以我们制作的一个Demo为例,早期Demo的人员、资金投入非常有限,而现在各个工种非常细分,对于小团队更是容易出现人员上的捉襟见肘。

当时我们想做一个网络迪厅感的Demo,而这种会非常依赖场景和特效。但这个背景里所有的人物、场景、小的光影效果其实都是AI做的,我们只投入了两三个人,总共用时不到四小时,其中AI工具上花了两、三个小时。当后续专业的场景、美术同学接入后,会对后续方向有感知,而不是面对一张白纸或三次元参考图,节省了大量讨论和迭代成本。

我们几个初始做demo的同学使用AI作为工具生成一些我们认为很对的方向和效果,它生成的质量在该时间段是不重要的,而是传递出我们未来会有一堆观众、在一个这样子的地方,再通过一些语言描述或者配图配置,新进来的同学就能快速了解方向。

Jim

我的那套管线在探索上前前后后花了有一周多,但是流程找到后出图达到人物效果大概也是几小时左右。

ROSA

Jim老师有提到您那一套管线其实更适合大公司去做,一个模型只产出一个角色,为什么会有这个观点?

Jim

我在解决一致性问题时,发现当使用很多素材去训练其实是能达到一定的精准度。而公司它本身有自己的素材库,完全有条件、有资源、有成本去承担针对角色的训练。但面对创造新内容的场景时,大量素材就不一定完全适用了。类似南瓜老师的思路,我们不要指望AI一劳永逸的出图直接用,而是作为辅助工具,针对不同的场景去使用,这个才是目前对于大部分个人或者团队来说更好的思维方向。

ROSA

有没有可能把您那套管线像咱们传统开发的时候进行分拆,比如说草稿、三视图、以及后续物件角色的细化,让不同的同学帮你一起完成。

Jim

我觉得可以,但目前较难实现,因为会涉及到一致性问题。但如果只是作为出发点,展示表达设计需求、设计逻辑和元素,其实目前是可以的。之前提到的人物拿武器或不同姿势的状态图、服饰道具、面部等方面进行细化扩展。

北美游戏行业的AI使用情况

成志

我们对北美游戏行业的印象更多是偏成熟的、工业化的项目,对稳定性要求都更高,同时北美也是AI可能更加发达,讨论热度更高的一个地区,那实际上大家从业者或公司之间有没有在用这些工具?

Jim

各大公司一直在关注,但让AI落地于管线还需要时间。对于成熟的管线来说,我们希望有达到当前标准、直接应用的工具,另一个让人哭笑不得的事实是,当有大量的素材去训练时,其实往往有成本更低的管线去达到相同的目的。对于公司层面来说是处于保持探索和观望的态度。

从个人的角度,北美有大量的AI开发者、创作者。他们很喜欢用AI去构建虚拟世界,不只专注于人物形象本身,我自己也希望不是只专注单张的的出图,而是处于一个大世界观的框架里。

Angel分享:资深美术怎么用AI

Angel

我觉得AI可以把一些想象中很飘渺的东西变得比较落地,能够帮你把设计的想象边际拉的更宽。

我曾经有很多特别牛的想法却因为能力不足难以表达出来,比如说我想做钻石头发、黑胶裙子,这种基本要把技法练到最厉害才可能把想法落地。但AI不需要可以帮助减少这种顾虑,所有天马行空的想法都可以先用AI尝试制作。

我个人的使用流程中,人工调整的这个时间跟自己绘画的时间相比其实差别不大。如果只基于AI成品调整,反而容易被它束缚。所以一般是调整角色光影、创意广度等情况下会用到AI,接下来还是以手绘为主,或是先丢进AI渲染看看参考效果。

发行视角:AI能否助力发行

成志

对于普罗大众而言,是不是也可以开发出某种工具,尤其二次元产品讲究同人氛围,大家能更好的生成自己想象中的OC。比如想给我们喜欢的游戏做一套漫画,现在是可以落地的吗?

青柑

目前让漫画从业者来看是不够的,但如果只是自己玩OC、四格漫画类是可以的。虽然一致性还不强但也够用。四格漫画对于分镜的要求很高,AI还没有在这方面做专门优化。

技术侧的探索方向

成志

接下来这一年你觉得AI作画会朝什么方向发展,学术上在探索什么?

青柑

一是更多模态的输入带来的控制,二是更精确的文本控制。

目前AI在控制生成内容上的能力并不强,主要是跟数据集和训练方法有关,CLIP技术是OpenAI的,但开源出来的不是完整版,基于此做的文本图像配对可控性肯定不如DellE 3,基于此延展出两个可能的方向:一是把语言的精细控制做到最强,同时打通视觉模型,把AI当作乙方,不断的修改生成结果。

二是在图片输入侧增加更多模态的输入,就像刚才Jim老师提的为什么第一步用blend而不是Imagine,就是希望用图片自带的信息去生成。

控制变得更加精细,其实变相把不同人使用工具的差距拉开了。我们都还处于技术最早的探索阶段,但如果它要上升成工具,人参与的程度要变得更重。只有人与人之间使用工具的能力拉开很明显差距,它才能帮助我们去做更好的创作和设计。

但最后,非常精细的控制是不是创作者所需要的呢?因为文字的模糊性可以带来想象力,这也是为什么最早文生图能火的很快,让每个人都能把自己的创意表达出来。带有一定模糊性的Midjourney把审美做的很好,又富有想象力,所以它的社区氛围也好,大家用它的动力很强。

注:以上内容仅代表嘉宾个人观点,不形成任何普适性结论。

推荐阅读

腾讯远征 | 国产游戏信任危机 | 站着挣钱

元梦之星 | 二次元骗局 | 黑神话:悟空

对话黄一孟 | 行业价格战 | 对话郭炜炜

设为星标(流程如上图)

可第一时间收到推送和完整封面!


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1