之前给大家介绍过其它的照片转视频,让图片中人物开口讲话的工具,比如heygen,文章链接:《数字人虚拟主播怎么做?比D-ID更强大的网站HeyGen,亚马逊链接一键生成真人卖货视频,AI假人制作》,还有D-ID,文章链接:《数字人虚拟主播D-ID:图片一键转视频,让照片中人物开口讲话,AI智能聊天机器人实时面对面聊天》,那些都是在线网站需要付费使用的,今天为大家介绍一个开源程序,可以本地部署无限次使用的工具SadTalker,github项目地址:https://github.com/OpenTalker/SadTalker
它有多种使用方式,你可以完整安装程序,项目详情页里有安装具体操作步骤,不过本地完整安装的话操作有些麻烦,步骤比较多,这个工具还支持stable diffusion插件模式,我们可以在SD里面安装这个插件直接使用,会方便很多。
首先打开stable diffusion操作页面,如果电脑上没有安装stable diffusion的话可以看之前的文章下载SD一键启动包,直接启动stable diffusion webui,文章链接:《AI绘画工具stable diffusion一键启动整合包,无需配置Python,git环境,安装使用简易教程》,然后点击【扩展】-【从网址安装】,然后在git仓库网址里输入:https://github.com/OpenTalker/SadTalker.git,然后点击安装。
需要稍微等一下,然后点击【已安装】,列表里有sadtalker就说明已经安装完了。然后再去网盘下载checkpoints和gfpgan,将两个压缩文件下载到extensions\SadTalker文件夹内并解压
然后配置ffmpeg,首先打开ffmpeg官网:https://ffmpeg.org/download.html,下载对应系统的文件,这里以Windows为例
将压缩包下载到本地电脑上解压,然后打开bin文件夹,复制路径,
然后鼠标右键点击我的电脑-属性-高级系统设置-环境变量-选中Path点击编辑-新建,然后在输入框内输入上面的文件夹路径,然后确定。
这时在cmd里输入如下命令:
ffmpeg -version
出现详细信息就表示ffmpeg安装成功。
然后重启webui,即可使用。可以直接上传图片也可以导入文生图或图生图生成的图片,各项功能如下图所示。
视频生成后,你可以点击播放预览视频,也可以鼠标右键点击视频然后选择视频另存为,将视频保存到其它地方。
全身模式生成的视频,只有头部会动,身体不会动,头转动的时候和身体有明显的边界,看起来有点怪异,resize模式全身都会动,但是画面都扭曲了,甚至脸都没了,更怪,最好还是crop模式。
如果你电脑无法搭建的话,你可以在huggingface上免费体验,链接:https://huggingface.co/spaces/vinthony/SadTalker
在huggingface上免费体验的时候有时候需要排队,而且可能需要花费很长时间,也可以付费升级提升速度和体验,如果你就不想花钱的话,也可以在Google colab上免费部署体验,链接:https://colab.research.google.com/github/camenduru/stable-diffusion-webui-colab/blob/main/video/stable/stable_diffusion_1_5_video_webui_colab.ipynb
直接点击代码左侧三角符号按钮运行代码就可以,等到程序安装完成后,底部会出现三个页面链接,打开链接就可以免费体验SadTalker,但是免费的是无法保证的,google colab在使用过程中有可能随时会被终止。
有感兴趣的可以去试试吧。
原文:https://dyss.top/725
酷酷AI在路上 2023-07-24
大哥的演讲 2023-05-03