这一期讲讲视频吧,也就是将一种视频风格换成两外一种,方法有很多,我这里讲一个最简单直接的方法,当然也存在不少缺点
原理其实很简单,就是将视频拆成一帧帧的图片,然后批量对图片进行重绘,最后将重绘的图片合成视频即可。
github下载地址:https://github.com/Scholar01/sd-webui-mov2mov
gitee下载地址:https://gitee.com/zhao-jia-bao/sd-webui-mov2mov?_from=gitee_search
gitee的很多,我这里随便找了个,如果GitHub地址报错了,说明你访问不了,可以使用以下的这个地址。
打开Stable Diffusion,选择扩展——>从网址安装——> 输入上面任意一个地址——>安装,然后点击已安装——>应用更改并重启。这样就可等待重启以下,可以在上面看到了mov2mov这个选项卡了。
选择大模型,你可以选择自己喜欢的风格的模型,比如我这里选择二次元古风的模型。
输入提示词以及反向提示词,最好根据视频风格来,我这里是这样的提示词(masterpiece:1.2),best quality,masterpiece,hires,original,dynamic pose,detailed face,anime style,2D,dark theme,1 girl,black hair, long hair, pink sleeveless top, blue denim shorts,white background, simple background, <lora:背景及距离控制_background & distence control__1.5:1>反向提示词直接low quality即可。
点击生成,可以看看这个风格的是不是自己喜欢的。如果是喜欢的,请记住这个种子数!
导入视频需要转换的视频,看个人的配置,我这里选择了7秒的视频,调整视频大小为1280x720的。
选择参数,步数20或者30,采样方法选择啥都行,我这里选择DPM++ 2M Karras,电脑配置不行,就选择高度和宽带等比缩放了一般,所以360x640,视频生成模式选择H.264,Noise multiplier设置为0.8,当然可以设置为其他的,重绘幅度可以选择为0.5或者其他的也行,就看要和原来的像不像,movie frames设置为你视频的帧率,比如我这里为30帧,具体多少可以查看视频的属性,有一个帧率。如果你想要提前看看视频出来是什么样子的,你可以设置max frames为60,也就是2秒。或者不设置,就会全部生成。
然后就是漫长的等待,我这里显卡不太行,直接等了6分钟....
生成的结果会在output文件夹中,会有一个mov2mov-imgages和mov2mov-videos文件夹,前面一个是每帧的图片,后面是生成的视频。
以下是参数截图!
原图gif:成果,我给这两秒的视频做成了gif!
其实这个方法很简单,但是问题也是存在很大的,比如画面闪烁,没有声音之类的,当然也有很多办法去解决这个问题,或者换一个方法,但是麻烦不少,比如选择使用emporal Kit + EbSynth。声音的话,提取原视频声音,然后加上去即可。有兴趣可以试试这个!
有人问工具箱和个人博客用不了,是因为服务器到期了,网站迁移完毕了,但是还在备案中,所以个人博客以及工具箱目前使用不了,大概这周就好了