独家专访！北影节AIGC单元大奖短片到底怎么做出来的？
记者 / 刘书亮（野草）
自从讨论Sora成为一种潮流之后，AI参与影像、绘画、设计的声音不绝于耳。很多人认为，AI将像曾经的三维动画技术一样，从根本上撬动整个行业。2024年还没过半，以AIGC为名的影片与绘画节展和竞赛跟Sora的竞品一样，已经如雨后的春笋一样不断出现。
由北京国际电影节举办的“AIGC电影短片大赛”从规格和规模上当属尤其受到行业关注的一次竞赛，也是主要面向工业化程度较高作品的竞赛。4月25日该单元的颁奖礼上，短片《致亲爱的自己》获得了最佳影片奖。
《致亲爱的自己》
童画 陈刘芳
出品：中国传媒大学动画与数字艺术学院
北京艾内美动画科技有限公司
导演：童画
监制：艾胜英
制片人：白冰
艺术指导：袁智超
制作总监：陈刘芳
AI创作：陈刘芳 周帝海辛 Simon阿文
作品的效果确实非常棒，极有质感。如果你还没有看过这部短片，现在就来补补课吧！↓↓↓
《致亲爱的自己》全片
一眼就能看出，这部片子在工作流程上是有新的突破的。我们动画学术趴编辑部一直关注AI在动画、影视和绘画领域的应用，于是第一时间跟《致亲爱的自己》团队沟通，对艾胜英、童画、陈刘芳、海辛四位进行了深度专访。
绝对干货哦！从技术实现到设计创意，让我们一起完整看看这部制作周期三个月的高品质AI动画短片是如何诞生的吧！
《致亲爱的自己》团队
在北京国际电影节领奖现场
01
团队组建
话说，这部短片的主创有很强的“中传”基因，很多人都来自中国传媒大学：导演童画是中传数媒专业的教师，监制艾胜英老师是中传动画系主任，而AI技术负责人陈刘芳、艺术指导袁智超也都是传媒大学的毕业生。
2023年，国外的AI动画短片《剪刀石头布》迅速火爆网络。当时整个动画圈子里对AI比较看好的人几乎都在研究这个片子。艾胜英老师也不例外。他觉得掌握这部作品基于Stable Diffusion的动画流程会很有价值，而且它要比很多其它的文生视频（text-to-video）服务目前所局限的那种单调的“微动效果”好很多，因此就开始了解和学习相关技术，想要组建团队，对AI的可能性进行测试。
国外短片《剪刀石头布》
是AI动画的一个里程碑
是大家思考AI动画工业化的重要起点
→关于它的技术复盘可点击这里阅读←
在团队组建AI动画技术团队时，艾老师第一个想到的是陈刘芳。
陈刘芳是一位经验丰富的内容创作者。2022年AI技术刚刚走进大众视野时，她就进行了AI风格方面的尝试和探索。后来她也一直致力于AI创作，并在多个AI比赛中获得了冠军。
“我们有一个探讨动画的小群，陈刘芳会经常把她创作的AI镜头、影片发在群里。当时她做过一个用实拍视频进行动画风格转绘的测试，画面的效果和稳定性都非常惊艳……我们小群里经常尊称她为‘AI一姐’。”艾老师说。
而参考《剪刀石头布》的工作流，必然决定了画面实际上是转描（rotoscope）的结果。这就需要首先有实拍素材作为基底。艾老师找到实拍导演经验十足的童画老师，大家一拍即合：
“童画老师的作品曾获美国学生奥斯卡金奖。她的作品情感充沛，而且实拍导演本身对角色情绪的把控、摄影机与演员的位置调度等方面都有很宝贵的经验。她对AI技术也非常感兴趣，所以我们非常幸运地在很短时间内组建成了团队。”艾老师回忆。
《致亲爱的自己》静帧
02
AI技术要点
在《致亲爱的自己》的制作中，AI技术团队所动用的工具，基本都是行业里常用的工具：ComfyUI的运行环境，ControlNet用到了depth、lineart和tile，转绘使用了AnimateDiff。
ComfyUI的节点式运行环境
为了更好地控制一致性和稳定性，团队训练了很多LoRA，其中既包括风格LoRA，也包括许多角色形象LoRA。此外，还通过DreamBooth做了SDXL大模型微调。
在风格方面，团队用Midjourney跑了300多张风格数据集。也就是说，是结合AI来生成的风格训练素材。
团队参考过多种美术风格，譬如毕加索的蓝色时期、莫迪里阿尼、乔治修拉，还有中国的韦启美老先生作品里面的“蓝”——因为这个片子的基调就是蓝色的。最后，融合油画、点彩，规范了色彩，形成了现在片子的风格。经过调试，它能较好地搭配故事内容，并在转绘后也尽量保留实拍镜头的细腻表演。
风格训练的部分中间产物
每个人物的角色形象LoRA
短短5分钟的影片，角色很多
因此需要很多LoRA
部分镜头里还使用了IPAdapter，以便让形象和风格更稳定。
在许多创作者那里，IPAdapter是用来替代LoRA训练的；但《致亲爱的自己》尝试了两个工具叠加使用，并取得了不错的效果——陈刘芳用“灵活、保险”来概括自己同时使用两者的原因。
当然，这里还有许多需要反复尝试的地方。不同的模型，在同一工作流下的表现差异非常大，要在保持风格和质感的基础上，既避免“滤镜感”，又要贴合片子的情绪，是非常难的课题。此外，不同的模型与VAE组合效果、ControlNet与IPAdapter的权重和引入时机、AnimateDiff的运动模块等也都会给画面结果带来很大影响。
不同美术风格的AI初期探索
为了实现更高的画面精度，团队选择在同一次生成中首先生成1280x720的画面，再送入KSampler和VAE Decode生成1920x1080的画面，确保最大程度的利用模型性能和画面质感。
在问及从SD1.5整体迁移至SDXL的原因时，团队的答案是，这样可以让片子在AI转绘过程中获取更加精准的信息，对细小的、距离镜头较远的形象在画面转绘时效果明显提升。
03
一镜到底
《致亲爱的自己》改编自中传2017级动画专业本科生闫晓暄的大一课程作业，二维短片《Liebestraum》。凡是当年曾经看过他们班作业展映的人，一定都对这部片子有很深的印象。
闫晓暄《Liebestraum》片段
大家都对《Liebestraum》这部短片赞不绝口，认为它造型虽简单，但表演极其细腻，节奏明快，动画生动有张力。
而这样的张力有效建立在一镜到底效果的基础之上。因此，艾老师选定了改编这部短片来进行AI的创作尝试之后，团队在筹备中也坚定地要把这样的镜头设计延续下去。
一镜到底的表达方式，意味着原有的实拍素材拍摄是个大工程。当然，不难看出《致亲爱的自己》并非真的单镜头从头拍到尾，而是动用了很多的镜头衔接技巧。而且在画面经过AI处理后，整体会更加流畅，更具备一镜到底的感觉。
04
舞蹈、节奏与故事线索
《致亲爱的自己》的角色表演，舞蹈感十足。这在一定程度上来自袁智超和艾老师的初期沟通。艾老师回忆，袁智超推荐团队参考动画短片《想起你》（Thought of You）——非常有名的一部以转描打底的动画作品——并建议增加舞蹈感来提升影片MV般的艺术质感。
国外动画短片《想起你》片段
当然这种舞蹈感也成为实拍素材拍摄的挑战之一。从拍摄设备的选择上，要实现绿棚内小空间的灵活运动，需要小型机动设备和运动过程中的稳定，团队对比了不同的拍摄设备，最终童画老师选择了如影4D。所有画面再进行绿幕抠像，跟踪反求得到能够跟场景合成的画面。
演员与实拍团队在绿幕拍摄现场
认真对比过《致亲爱的自己》和《Liebestraum》就会发现，前者的叙事加入了一条“蒲公英”的线索，可谓巧妙。蒲公英，在整段“舞蹈”中不断复现，成为这部短片叙事当中的重要节奏点。无论是以戒指、胸针还是绳索出现的蒲公英意象，都象征着女主想要把自己的爱一次次给出，但又不被珍惜，直到迷失自我，蒲公英被风吹散、消失。直到坠入深渊后，过去中各个阶段的自己重新帮助女主找回那些丢失和散落的蒲公英花瓣，重新凝聚成完整的蒲公英传递给女主爱的力量，让她学会把爱留给自己，才再次点亮了她的人生。
童画导演自己也亲自参与了编剧工作。她说：
“我更喜欢美好、有希望的结尾。当时就想，原作的女主角从小缺爱，后面自己表达爱的方式也经常偏激、脆弱、爱不得法，造成陷入谷底不敢再爱。但是只有相信和更爱自己，才能获得力量，以及有爱人的能力。但是这个‘爱’怎么具象化的表达呢？我就想到了蒲公英，它代表脆弱敏感的情感，飘忽不定的爱，也代表女主自己。”
各个时期的女主
把蒲公英递给自己
05
2D与3D动画辅助
《致亲爱的自己》的一个特别大的优点，就是背景稳定性很好。除了要在AI转绘参数的调节方面下足功夫之外，单独的动画辅助也非常重要。整个技术团队共同探索了二维动画、三维动画与AI相结合的边界与可能。
首先就是蒲公英，这个在叙事中反复出现的线索意象。蒲公英的粒子是在C4D里面完成的。此外，也有部分场景镜头是Blender做的，在AE里面合成后，最后进行完整的画面转绘。团队根据画面的难度，选择不同的工具组合。
Blender工程截图
单个蒲公英的动画辅助
和最终转绘效果对比
结尾这个蒲公英片段，则是二维逐张手绘后完成的。把画面做到类似二维手绘的动作草图程度，再通过AI转绘，这个过程中AnimateDiff实现了类似补帧+完善质感的作用。
二维转绘前和转绘后效果对比
06
尾声
对童画导演来说，实拍和动画一样，最终的目标都是讲故事，“我画画功力堪忧，但是AI的赋能让我有了‘神笔’的力量（笑），也可以做动画了，感觉很奇妙”。
工业化的AI动画制作，在行业里已经有了不少探索。实拍+转描动画的工作流大致框架比较确定，但涉及的工具、具体的细节上，似乎每部片子都不同。《致亲爱的自己》无疑再次提示我们，影视与动画的AI时代已经到来，而里面尚未定型、值得探索的内容还非常多。
AI也确实为创作者打开了一道巨大的门，让选择令人眼花缭乱。参与AI技术实现的海辛指出，这时候“收敛”反而非常重要：
“在转绘的过程中我们实验了许多不同的版本，其中不乏很好看和有趣的影像。这个时候团队能够选择合适的风格变得很重要，需要站在整条片子的视听进行考量，将风格进行收敛，让AI能真正的服务于故事与情绪。”
另外海辛还提到，因为AI目前在角色一致性、场景一致性和角色表演上自己生成的能力还比较有限，所以AI的转绘目前需要很强的参考和引导，因此2D动画和3D动画在整个过程中起到了很关键的作用。动画辅助让AI的生成方向更可控与明确，同时AI也显著提效了整个影片的制作——旧工具和新工具在现阶段是相辅相成的。
陈刘芳认为《致亲爱的自己》是她尤为珍贵的制作经历：
“对我来说，这是由艺术家、科学家和创作者共同来探索的一个AI短片的创作流程，真的不同以往。我也希望这部片子能给观众留下美好的回忆，带给他们勇敢向前的力量。”
艾老师在采访中提及，这次创作尝试也有很多遗憾的地方，例如片中有一个基于动画性为目标的角色骨骼调整方面的测试，但基于技术瓶颈的原因，最终没能实现。期望能有机会在未来再做尝试，也欢迎动画、影视和AI领域的同行们一起探讨更多有趣的话题。
《致亲爱的自己》幕后花絮视频
—点击图片阅读更多精彩内容—
用这堂课程，补齐动画人的盲区知识！
《迷宫饭》片尾名单为什么有“凍鰻糕獸”？
奇迹大陆时尚年鉴!《闪耀暖暖》官方图集
新版加印✨中国古典绘画珍藏鉴赏大合集