当前位置:首页|资讯

AI唇形同步技术:只需一段视频和语音,轻松实现自然对口效果

作者:Zhikes发布时间:2024-09-18

引言

著名导演奉俊昊曾提到,字幕是阻碍外国观众尽情欣赏电影的一个障碍,因为他们需要同时兼顾阅读和观看。而多语言版本的电影(MLV),虽然能解决语言问题,但因制作成本高昂,难以广泛推广。配音成为一种流行的折中方案,但由于声音和演员口型不同步,常常显得不自然。

为了解决这一问题,唇形同步(lip-sync)技术应运而生。它通过生成与语音音频相匹配的嘴唇动作,实现语音与画面的完美同步。除了电影,唇形同步技术在当今短视频搞笑视频的


3款本地唇形同步一键整合包软件

以下介绍3款强大易用的本地唇形同步软件,助你轻松实现语音驱动视频的唇形同步效果。



前置条件

一键整合包用于win10、win11,并且需要配备至少8GB显存及以上的独立 NVIDIA 显卡 可用。cuda版本需要大于等于11.8,如果cuda版本小于11.8,可以按照教程按装指定版本的cuda,https://www.zhisk.com/1154.html。

cuda版本查询cmd指令

nvcc –version

或:

nvidia-smi

(注意:在 Windows 系统上,某些较高版本的 CUDA(例如 12.6 等)可能会导致未知问题。您可以考虑将 CUDA 降级到版本 11.8 以确保稳定性。)



1. EasyWAV2lip

使用教程:

打开软件后



会自动弹出网页界面



使用很简单,只需要上传人脸说话视频,和一段语音。



建议的一些参数使用



最后点击制作等待生成即可。

一键包获取方式,公 众 呀 是哪 个 好!InnoTechX

发送 ”ivw“




2. VideoRetalking

使用教程:

打开软件后,会自动打开网页跳转界面,没有跳转就自行复制打开



上传视频、语音素材



最后点击制作即可



一键包获取方式,公 众 呀 是哪 个 !InnoTechX

发送 “ivr”



3. FaceFusion

下载压缩包,解压到本地,全路径不能包含中文,包括视频、语音素材。


点击启动整合包.exe



启动后会自动跳转到网页打开



选择帧处理器按照下图标注设置,设置执行器,以及上传素材



最后点击开始即可


PS:这里的输出视频长度不是由音频决定的,是由视频决定的,你需要多长的语音,就需要提供和语音一样长度的视频,用视频剪辑软件剪切拼接下重复人脸片段即可。

一键整合包获取方式,公 众 呀 是哪 个 !InnoTechX

发送 “ff”



效果对比

在整体效果上,EasyWAV2lip 优于 VideoRetalkingFaceFusion,特别是在生成自然唇形动作和同步准确性上。


注意事项

使用视频素材时,建议使用720p分辨率的视频,因为这些模型通常在较低分辨率下训练,相较于1080p视频,720p能提供更好的效果。即便唇形同步后的视频清晰度不高,后续也可以通过高清模型进行优化处理,达到真实逼真的视觉效果。


其他在线唇形同步平台推荐

如果你不介意付费,也可以尝试一些提供类似功能的在线平台:

  • Rask: [https://zh.rask.ai/]

  • HeyGen: [https://app.heygen.com]

  • Synthesia: [https://www.synthesia.io/#free-ai-video]

  • Elai: [https://elai.io/]

  • Colossyan: [https://www.colossyan.com/ai]

  • SyncLabs: [https://app.synclabs.so/playground/lip-sync]

这些平台都提供了相关功能,适合那些有更高预算的用户。


如果使用EasyWavlip和VideoRetalking得到的视频不高清,想要更高清,欢迎公众hao call me,教你如何使用模型将视频变的更高清。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1