当前位置:首页|资讯|通义千问|GitHub

阿里通义实验室回应关于“全民舞王”的一切

作者:娱乐资本论发布时间:2024-01-14

原标题:阿里通义实验室回应关于“全民舞王”的一切

作者|James

继妙鸭相机之后,阿里又一个AIGC原生小程序火了。

下载通义千问App,输入“全民舞王”之后,就可以用一张清晰的正面全身照片,生成几秒钟的跳舞视频,从蒙古舞到科目三应有尽有。“兵马俑跳科目三”登上了一周前的社交媒体热搜,在海外的社交网络上,也有不少不能及时用到的人实名表示羡慕。

“全民舞王”背后用到的技术正是由阿里通义实验室开发的Animate Anyone算法,该算法在上个月首先在GitHub公开了论文,其中已经提到了一些和历史上同类算法的对比细节,其完善程度令人震惊。

Animate Anyone官宣的时刻,正值其他文生视频算法和产品批量涌现,国人主导的Pika 1.0惊艳开启内测,字节跳动的Magic Animate和微软的GAIA同样在展示效果上明显升级。

阿里通义实验室还有另外两款最新算法官宣,其中Outfit Anyone可以给模特一键换装,AnyText解决了文章图当中字体,特别是对于汉字生成效果不准确的问题。

文生视频的动向受到文娱行业的密切关注。值此“全民舞王”爆火之际,娱乐资本论·视智未来率先联系到阿里通义实验室的团队负责人,详细的帮我们解答了有关其三款最新算法的一些大家关心的问题。

---以下为采访实录---

VOL.1

“全民舞王”和它背后的技术

视智未来:在舞王上线后的这几天,你们的统计数据当中有什么亮点和有趣的地方?

目前最受欢迎的模板是科目三,这与全球的趋势相吻合,科目三模板断崖领先于其他模板。

目前我们观察到用户使用频率在某些时间段会显著增加。例如,中午12点半之后到大约一点多的时间段,用户使用频率较高。晚上下班后,使用量逐渐上升,直至大约8-9点钟达到另一个高峰。

人们各自用真人,或者是非真人比如动漫人物或兵马俑的照片来制作。我们后台理论上可以识别这些种类的占比,但目前还没有具体的数据。

同时在线人数峰值属于内部数据,我们目前不对外公布。但可以确认的是,在高峰期间,等待时间确实有所增长。平时是15分钟,晚上8-9点时有用户反馈等待时间超过了20分钟。

另外,舞王产品当前只在通义千问App中使用,但我们也在考虑是否将其扩展到阿里系的其他平台上。目前还没有具体的计划。

视智未来:Animate Anyone在论文中使用了TikTok的一些网红跳舞的片段。国外媒体普遍关注的是,它是否是使用TikTok数据训练的,是否已经获得了这些网红的授权?

在研发阶段,我们主要使用的是自己内部的数据集。当然,在论文中的评测集对比上,我们对比了几个主流的人物视频生成模型。在进行这样的对比时,我们可能会使用一些公开的数据集,比如TikTok的,以评估哪家的技术效果更好。这些数据集在行业内被广泛认可,但实际上在开发过程中,我们是基于自己的数据集训练。

视智未来:你们自己的数据集是来自淘宝上的商品描述视频,或者是淘宝直播的片段吗?

是的,我们有自己的内部数据集。

视智未来:目前在舞王当中可选的动作是固定的,为什么考虑设置有限且固定的动作?

算法本身,对于符合格式的动作,都是支持的。设计有限且固定的动作,主要是从产品体验角度出发,通义千问App面对的是全网的手机用户,对这些用户而言,自己拍摄、制作动作,是有难度的。这种复杂操作,对于开发者更合适一些。

我们后续会增加更多有趣的舞蹈模板。同时,我们也在思考如何能兼顾用户自定义动作的需求和产品的易用性。

视智未来:支不支持从一个视频的动作提取出来转换到另一个视频?比如提取一个视频中主角的动作节奏,然后套到另一个图像上?

和上一个问题类似,从视频提取动作技术上是可行的。但是做到产品上,还需要更多考虑。

视智未来:舞王生成一次的十几分钟包含了排队时间,那么单算Animate Anyone算法本身的生成效率如何?

这个取决于很多因素:输入图的分辨率、后台机器的型号、生成的时长等。

我们测试过,Animate算法的效率和常见的VideoComposer等视频生成,效率基本一致。现在产品上,不排队情况下,10秒左右的视频,生成时间在9分钟左右。

视智未来:据我所知,你们的方法是找出人物的关键点,然后将其匹配到类似火柴棍的模型上,对吗?

确实如此。我们的模板相当于是骨架提取。用户上传照片时,我们的算法会提取照片中的基本信息,如人脸、表情、服装和背景,并将这些与模板骨架结合,让其动起来。

有人使用柯南漫画封面进行生成,生成后封面背景的文字没有错位。这说明背景在识别后保持不变。这也是我们技术上的一个优势。在GitHub上的展示案例中,我们的算法同样展示出能够保持背景稳定的明显的优势。

视智未来:我想知道是否可以将一个视频的最后一帧作为下一个视频的第一帧。会不会有接缝感觉?

与Pika有所不同,由于舞蹈背后的骨架可以设定为连贯的动作,我们认为可以实现无缝拼接。

视智未来:之前论文说一些大动作可能会有问题,能大致说一下是哪些类型的动作现在还不完善吗?

转身是一个挑战,这是整个行业的普遍问题。对于快节奏的转身动作和武打动作,因为这些动作幅度大,节奏快,目前的算法可能无法完美处理这些动作,可能会出现一些瑕疵。

我们需要对算法进行进一步的优化和升级。数据集是一个方面,我们可能需要一整套数据,而不仅仅是一两段视频。另外算法的结构设计也需要升级和优化。

视智未来:今年开发团队对于Animate Anyone和“全民舞王”的下一步改进计划有哪些?

算法上,会持续提升算法的细节效果,以及扩展更多功能,比如支持相机、背景控制,支持多人同时控制等。

产品上,今年计划加入的新功能,至少包括多人共舞和上传半身照片。

即使使用现有技术,也可以在绿幕之下先把每一个单人的动作做出来,再拼接到一起,甚至像爱尔兰的《大河之舞》那种也可以做。但我们接下来希望在Animate Anyone的算法内部来实现多人共舞的功能,一次生成而不需要后期再加工。

另外我们现在研发上传半身照片就可以生成,目前是需要上传正面的全身照片才行。

VOL.2

文生图准确生成汉字的难题,是如何被攻克的?

视智未来:在AnyText出来之前,也有很多人会自然的想到将AI生图和生成文字作为两个单独的流程来处理。但文字可能难以准确的叠加在同样的位置上,而且还要擦除上面原来的字。这方面的技术难题是怎样攻克的呢?

分成两个单独流程处理是最直观的方式,但也使问题更复杂。比如AI生图后,生成的伪文字的位置很难定位,通用OCR模型无法检测到,也就无法确定接下来生成文字的位置。而且为了提升视觉一致性,文字的风格与图像应保持一致而不是单独处理。

因此我们设计了一步图文融合的方案。一方面我们将待生成文字的字形,位置等信息加到图像隐空间,在常规文生图的流程中加入了生成文字的“催化剂”;另一方面,待生成的文字受分词器影响无法将每个字符对应到单独的token,且预训练的token特征以语义编码为主,无法提供足够的笔画信息,我们采用OCR模型对生成文本单独编码,再和提示词的其他描述内容的语义做融合。

基于这两点,我们做到了在图像中生成笔画准确、视觉风格一致的文字。

视智未来:我们发现针对中文的招牌字体优化程度非常好,这是因为测试数据集的筛选和优化有针对性吗?

没有刻意做优化,具体的数据集信息可以参考我们的论文。

视智未来:AnyText即使是针对3D造型,浮雕效果的汉字生成效果也是可以的,在这方面有没有克服什么特殊的困难?

这一点是符合预期的,我们对用户输入的提示词进行了解耦。

如:【一个大理石浮雕,上面写着“AnyText”】。对引号外的字符,它们和常规文生图流程一样,经过文本编码器抽取语义特征;对引号内的字符,我们认为其语义本身并无价值,而每个字符的笔画尤为重要,因此引入预训练OCR模型提取字形特征,之后语义和字形特征经过注意力机制做融合,就可以使“AnyText”这几个字符在生成时关注图像的一致性,从而实现浮雕的效果。

视智未来:演示照片当中,生成的文字角度都是比较正的,也就是直视角度。其它角度会不那么准确吗?

除直视角度,AnyText也可以在弯曲、不规则形状、折角、透视变换等区域生成文字,不过这种情况的文字应该会带来一定准确率的降低,因为训练数据中大部分为直视角度。

视智未来:除中文和英文之外,还有其他哪些语言文字经过了相应优化?

AnyText方案本身并未限定语言,但目前训练数据中绝大部分为中文和英文,其他语言并未做特别优化,后续会考虑逐步扩大多语言训练集,也会借助开源生态的力量。

视智未来:在生成的时候可以在prompt(提示词)当中选择字体吗?

目前的版本不能通过prompt指定字体,文字生成模式下,字体的选择主要受图像描述的场景影响,在尽可能不破坏视觉一致性的前提下随机生成某种字体的文字。

VOL.3

不只是跳舞和写字,还有换装

视智未来:我们知道在Outfit Anyone之前,早在去年三四月份,市场上已经有一些公司在尝试优化和魔改Stable Diffusion,使其适应电商模特换装场景。Outfit Anyone相对的优越性在哪里?

确实利用SD魔改的很多试衣的应用大部分是基于SD的mask inpainting技术,通常是基于一张已有的模特上身图或者人台图片, 保持衣服区域不变,重新生成人头和人脸的区域。这种方式对于输入图片的要求很高,同时由于不需要对服饰区域进行修改,生成难度相对较低。

而Outfit Anyone对于图片输入的要求很低,仅需要输入服饰平铺图,就可以实现服饰的上身效果的生成。这种方式减少用户的使用成本,能够扩展更多的应用场景中。此外,Outfit Anyone 也能够支持服饰搭配(上下装组合),身材试衣等应用场景,同时加入了refiner,可以做到更好的一致性。

视智未来:Outfit Anyone会在近期有什么实际应用落地吗?

我们会和阿里巴巴内部的淘宝电商场景结合,也会探索一些外部的应用场景。

此外,在我们的论文中也展示了,Animate Anyone和Outfit Any One算法可以叠加使用,模特在生成舞蹈视频之前可以先换装,然后再跳舞。

视智未来:那么,你们是否考虑在舞王应用中加入这一环节,比如先换装再跳舞?

从产品角度看,可能不会很快实现,但这在论文和项目页面上已有相关展示,是一个值得期待的未来应用场景。

请问你们在开始构思和设计的时候,是确定要应用到淘宝的电商场景,还是有其他的初衷?

目前,我们这三款产品都属于通义实验室。Outfit Anyone更紧密地结合了电商、时尚场景,具有换装能力。AnyText这款产品则偏向图像生成,比之前的文字生成能力有所加强。这些产品都是通义实验室最近发布的模型算法的一部分。

通义实验室主要集中于通义系列大模型的开发,这三个项目实战意义非常强,与实际业务应用的联系特别紧密,不仅仅是纯技术探索。这也是因为当前的大模型在各种应用场景中都非常明显。至少从我们开发的Animate Anyone来看,这个项目的起源仍然基于技术上的突破。我们在生成场景上根据实际需要进行了一些创新,比如舞王。

视智未来:整个开发过程从刚开始到发布论文用了多久?这是通义团队的主要项目,还是在业余时间做出的项目?

Animate Anyone这项研究工作开展的比较早,大约2023年9月份就开始了。到2023年11月底,我们公开了论文和项目主页,得到了同行的关注,有很多国内外的关注者自发转发,引起了广泛的讨论。之后我们开始筹备上线通义千问里的“全民舞王”这个功能,这两天上线后,也吸引了大量网友的体验。

研究本身并不局限在舞蹈生成,为了让偏枯燥的学术工作,变成大家都能体验、都能找到乐趣的功能。

视智未来:业界非常关注这三个模型是否可以开源,以及商业化使用生成结果,和进行二次开发。

AnyText使用的开源许可证是Apache License 2.0,不是只能在阿里系的场景里使用,你可以将其商业化,但需要遵守一定的限制和条件,具体请参阅许可证协议。

Animate Anyone和Outfit Anyone项目的代码目前还没有开源,但GitHub上已有相关技术文档。

目前Outfit Anyone和AnyText已经登陆huggingface和魔搭。Outfit Anyone在Huggingface和Modelscope体验页,不限制用户对于生成的试衣图片的使用。

视智未来:在自行架设相关模型体验的时候,上传照片如果有敏感的,算法端会处理吗?

我们的算法并不会屏蔽敏感图片,这种屏蔽是由前端限制实现的。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1