制作视频效果,需要准备下面3个条件:
准备stable diffusion的环境
剪辑一段【鸡你太美】原版视频
stable diffusion安装sd-webui-IS-NET-pro插件
部署步骤参考制作ikun图片的文章:【奶奶看了都会】2分钟学会制作最近特火的ikun幻术图
这里还是建议大家用云平台部署stable diffusion,简单高效。因为本地部署要踩的坑实在是太多了,小卷之前可是花了一天时间才部署好的。
另外最近揽睿星舟平台有七夕节活动, 全场3090 24G资源【7.7折】优惠!!相当于只要1.46/时
👉🏻活动时间截止到2023.8.22
👉🏻注册地址:https://www.lanrui-ai.com/register?invitation_code=4104
简单介绍下sd-webui-IS-NET-pro插件,主要的功能是将视频分成多帧图片,批量抠图操作,以及多帧图片转视频处理
插件地址:https://github.com/ClockZinc/sd-webui-IS-NET-pro
安装步骤:
SD页面 - extension - install from URL,输入下面的链接,点击install
https://github.com/ClockZinc/sd-webui-IS-NET-pro.git
插件安装isnet-general-use.pth模型文件
模型下载地址获取:公众号卷福同学
内发关键词AI绘画
获取
将模型文件放到下面的目录里,然后重启SD就完成安装了
/home/user/data/sd/extensions/sd-webui-IS-NET-pro/saved_models/IS-Net
这里列一下AI视频制作的整个步骤:
Isnet_Pro的video2frame把视频切分为多张图片
Isnet_Pro的图片背景去除把人物背景去掉
文生图制作图片效果
选取效果好的图片seed值,批量生图
Isnet_Pro的frame2vide把多帧图片转视频
剪辑工具给视频配音
在SD页面切换到isnet_Pro插件上,选frame2video,然后上传你的视频,填上输出目录,可直接参考我的目录。点击gene_frame
开始生成图片
/home/user/data/sd/outputs/frams
等待1分钟左右,生成的图片可在输出目录下找到:
切换到ISNETpro2,然后填入刚才的输出目录到输入地址,图片的输出地址也填个新的,点击开始批量生成
/home/user/data/sd/outputs/Isnet_output
等待几分钟后,可以在输出地址查看生成的图片效果,可以看到人物的背景已经全换成白色了
mask目录里是黑底蒙版图,也是可以拿来用的
正面词:
The sea, mountains, highways, forests
反面词:
NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome0),((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbic d:1.21),(mutilated:1.21),(tranny:1.331),mutated hands,(poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs,(disfigured:1.331),(missingarms:1.331),(extra legs:1.331),(fused fingers:1.61051),(toe omany fingers:1.61051),(uncleareyes:1.331),lowers, bad hands,missingfingers, extra digit,bad ha ands, missing fingers, ((extra arms and legs))),
controlnet配置如图,需要使用模型control_v1p_sd15_qrcode_monster
可以多跑几张看看效果,选择效果好的图片的seed值
写入自己看好的图片的seed值,然后填入上一步的图片输出路径,开始批量生图。图片生成放在/home/user/data/sd/outputs/txt2img-images
对应的日期目录下,可自行查找
图片生成位置:
打开isnet_Pro的frame2video
功能,配置图片输入目录和视频数据目录,点击生成即可
视频生成完成后,找到视频文件,并从平台上下载到本地
合成的视频是没有声音的,这里大家可以自行用剪辑工具玩耍了,给视频加上配音,或是直接模版生成。
视频效果大家自行探索哦~
用AI制作视频的教程就到这里了,是不是很简单呢,视频效果依赖AI调教以及视频剪辑。如果喜欢这篇文章的话,给小卷点个关注吧~