stable diffusion扩展Deforum根据文本描述词自动生成视频

作者：AI画师大阳发布时间：2023-05-14

前段时间给大家介绍了一个根据图片描述词生成视频和将视频转动画的工具kaiber，原文介绍：《如何用图片生成视频？AI软件Kaiber:通过一张图片生成内容不断变化的视频，自动创作内容》，有人感觉费用有点高，接受不了，今天给大家介绍一下如何使用stable diffusion的扩展deforum来实现文本自动生成视频的功能，也可以将现有一段视频转为动画。这个无需费用，可以在本地电脑无限操作，下面讲一下具体操作。

首先打开stable diffusion，如果电脑还没有安装stable diffusion的话可以查看下面两篇文章在本地电脑安装搭建stable diffusion。

1、《AI绘画工具stable diffusion一键启动整合包，无需配置Python,git环境，安装使用简易教程》无需配置环境，一键安装启动，新手小白看这个。

2、《AI绘画工具Stable Diffusion安装教程，超详细安装步骤，简单照做就可以》，需要配置环境，较麻烦，合适有一定电脑操作经验的人、编程人员

打开stable diffusion页面，点击【扩展】选项卡，然后点击【可用】然后点击【加载自】按钮

查看可安装的扩展列表，然后选择【Deforum】点击后面的安装按钮，就可以安装扩展了，如果你安装失败了或是找不到哪个扩展，可以选择从网址安装，然后输入github代码地址https://github.com/deforum-art/sd-webui-deforum.git，点击【安装】按钮就可以安装了，如果安装不了就开启魔法上网。

安装完之后重启webui就可以在导航中看到deforum

【运行】

采样方法和迭代步数默认就可以，如果你有习惯用其它的方法可以随意设置，宽高就是生成的视频尺寸，默认方形512×512，有需要其它尺寸的可以自行设置，建议尺寸为512,576,768,1024之中的，尺寸越大生成速度越慢，太大的话可能会生成失败。随机种子如果你没有确定的值就默认-1，Batch name为文件夹名。如果你是生成真人视频，脸歪了的话可以勾选面部修复，剩下两个选项可以不用管。

【关键帧】

Max frames为最大关键帧数，默认1秒15帧，帧数越大视频时长越长。

Enable guided images mode为是否启用引导图，就是在各个时段用你给定的图片来生成视频。这里的图片可以使用网络图片也可以使用本地电脑上的图片。如果使用本地电脑上的图片，路径中必须使用斜杠/，而不是反斜杠\，例如路径：D:/AI工具/下载/鸡蛋.jpg

其它设置参数极多，可以保持默认设置就可以，可以以后慢慢熟悉。

【提示词】

提示词中的内容是JSON格式数据，在右侧双引号内输入图像描述词，也就是你想让视频生成的内容，左侧0,30,60,90是起始帧数，从多少帧开始去生成你当前描述的内容。切记只在双引号内输入内容，完全按当前文本格式来输入否则会报错。

Prompts negative中输入视频内容中不想要出现的内容

【初始】

是否启用初始图片或视频素材，use init勾选表示启用初始图片，就是说从这个图片开始变化，可以用网络上的图片，也可以用本地电脑上的图片。如需转换视频里面同样设置。

其它设置可以保持默认即可。然后点击页面右侧的生成按钮就可以生成视频了。视频生成成功后点击生成按钮上方的【Click here after the generation to show the video】按钮可以显示生成的视频

可以打开视频查看并下载，也可以直接点击下方的文件夹按钮打开文件夹查看视频。

Deforum插件也可以将视频转成动画，在【关键帧】里将Animation mode选择视频输入

【初始】里【Video Init】Video init path设置视频路径，可以是本地视频，也可以是网络上的视频地址。

【ControlNet】里模式1勾选启用，ControlNet Input Video/ Image Path里输入视频路径，跟上面的视频路径一致。ControlNet扩展如果没安装的话按照安装Deforum扩展方法安装。其它设置默认即可，可以在使用中慢慢尝试熟悉。点击右侧生成按钮即可转换视频。视频转换功能对电脑配置要求比较高，时间会比由文本生成视频时间长很多。