最近chatGPT爆火,似乎一时间让全网都在热议AI在未来的无限可能,在大家都在探讨AI未来的同时, AI在动画和绘画领域又悄悄的进步了!
之前wuhu也介绍过,它可能可以优化三转二和动作替换的功能,提高动画制作的效率的问题,现在它已经在风格化效果里应用成功了!使用初音的粗模动态就可以生成二次元风格化的初音。
更夸张的是
AI绘画不仅解决了风格化
还打破了二次元和三次元的边界...
不仅如此
AI绘画已经将能力卷进了三次元
这势头似乎要卷入
网红圈和coser圈
近期,网上大量出现了AI写实照片
用AI绘画可以实现同款人物的连续动作和换装
生活照和写真照都可以
这是不是就可以定制你喜欢的AI虚拟人了?
是的,你可以根据你所想要的设定,做精细化处理,一番操作之后,真的太不可思议了,我们来看看微博博主 @勘云工造 创作的AI coser系列。
AI coser系列
这一组写实感更强
另一组勘云工造尝试了赛博coser
碧蓝航线柴郡
是不是已经让你
惊掉了下巴!
这到底是怎么做的呢?
勘云工造在微博上分享了制作幕后,他使用的是 stable diffusion本地部署进行制作,目前主要使用chilloutmix模型。
ChilloutMix,二月初出现在模型分享社区CivitAI。 不到两周时间,下载数量超过10万。
网站:https://civitai.com/?query=ChilloutMix
简单来说,这个模型还是基于大家熟悉的Stable Diffusion,1.5版本,但是由许多衍生模型合并(Merge)而来。
主要组件包括两大模型,首先是Basilmix,专攻写实效果的纹理和亚洲脸型。 这个模型还非常擅长半写实的“2.5D风格。
CivitAI社区里还会有很多网友晒使用相应模型生成的作品,其中还有很多标记了“NSFW”或“18+”。
除了ChilloutMix之外,大家所好奇的为什么能固定生成同一张面孔,是因为它还使用了另一项技术 LoRA。
LoRA本来是微软研究团队早在2021年提出的一项大语言模型微调的技术,可以大大提高微调训练速度。 去年底,韩国科学技术院KAIST一位研究员@cloneofsimo与HuggingFace合作,将此方法扩展到Stable Diffusion上。
在CivitAI社区里,每个微调好的权重就叫做一个Lora,就相当于修图软件一样的人物素材模版(也相当于游戏里的皮肤),所有人都可以方便下载使用。
目前最火的一款就叫“Korean Doll Likeness”的Lora,目前下载量排名第一。
勘云工造使用的人物lora模型是基于二次元角色立绘进行训练的,并不需要真人的cos照,他认为用cos照训练反而会因为混乱的元素导致效果变差,如果使用koreandolllike之类的亚洲审美肖像lora作为面部辅助调整,权重一般只需要0.1-0.2左右,因为过高会导致面部同质化严重。
那么,为什么同角色面部连续性这么强,但不同角色之间也有点相似?
勘云工造有说到,一般把二次元lora的权重比例调整的很高,希望能表达出原人物的特点,所以生成的基本可以说是成功保留部分原角色的个人特征三次元化后的纸片人,不同角色面部相似的问题我觉得可能是现在二次元统一使用盾形脸,只能通过服饰和配色认人,而这种趋同度高的面部特征在ai看来差别并不大,也就容易得出相近的生成效果,这方面可能还需要等待算法进化才能解决。
不过
对于ChilloutMix+LoRA这样的技术的使用
还是要注意的!
网站上发布的作者也意识到了可能被滥用的风险,并着重提示了法律风险,特别强调不要用于真实存在的人物。
AI的发展将会越来越快,正如 OpenAI CEO Sam Altaman 所说那样,AI 已经成为下一个真正的技术基础平台,并且是自移动互联网后又一个全新的基础平台,所有行业都将从中取得许多进步。
本期话题
你怎么看待AI技术的进步?
ChilloutMix:
https://civitai.com/models/6424/chilloutmix
参考链接:
[1]https://huggingface.co/blog/lora
[2]量子位
[3]勘云工造微博
-THE END-
本文编辑:阿呜
JC动漫馆营业中,
欢迎各位朋友前来做客,
围炉饮茶漫话家常!
点击即可购买门票
▽
微信又又又改版了
请⭐星标馆花
不然你将看不到我精心设计的封面
操作步骤
👇