造梦师手记：让Stable Diffusion的美少女动起来

大部分使用Stable Diffusion绘画的选手，都能够很熟练的画出一张满意的照片。

随着AI技术的迭代，已经有AI工具可以绘制短视频。

也有人利用Stable Diffusion结合ControlNet插件，绘制成千上万张照片，再叠加成一段视频。

但是，大部分人没有这么大的精力和时间来画图，毕竟还要搬砖赚显卡钱。

在AI视频普及之前，Stable Diffusion有没有一种便捷的方式，可以简单的生成视频呢？

有人做了一个插件，可以在比较省心省力的情况下，一键生成一段短视频（大约几秒），可以让我们的图片“动”起来。

不过，代价是显存要足够多。

具体要多大的显存呢？

作者是这么说的：

目前，您可以通过 NVIDIA 3090 使用此扩展运行 WebUI。我不能保证 GPU 的任何其他变体。实际VRAM（显存）使用情况取决于您的图像大小和视频帧数。您可以尝试减小图像大小或视频帧数以减少VRAM的使用。默认设置（显示在“样本/txt2img”部分中）消耗 12GB VRAM。

按照这个说法，起码要16G显存起步。

不过，经过我的实测，12G的3060也是勉强可用的，经过其他群友的实测，8G显存也有较大的成功概率。

在安装该插件之前，把NVIDIA的驱动升级到最新，然后在启动器设置不要使用xformers（目前的版本有个奇怪的错误）。

插件名叫animatediff，安装路径是：

https://github.com/continue-revolution/sd-webui-animatediff

安装成功后，重启Stable Diffusion会在首页看到animatediff的配置界面。在配置之前，需要下载模型，mm_sd_v15.ckpt，并拷贝至extensions\sd-webui-animatediff\model

animatediff可以用在文生图，也可以用在图生图。

为了避免出现画面较大的跳跃，建议在图生图界面进行。该插件生成的超短视频以GIF格式存储。

配置界面比较简单，总帧数是要生成的超短视频的帧数，一般建议20帧以下，FPS则选择30-60为佳。如果想一次生成多个GIF，可以更改Display loop number。

其余的设置保持默认即可。

从生成图片的过程看，工作逻辑是根据提示词生成指定帧数的图片，然后组合成GIF形成动态效果。

由于3060的12G显存不太够用，经常是生成一次超短视频后，就无法再次跑图了，只能重启启动器。

所以大家如果使用该插件，请量力而行。

如果需要做成MP4等视频格式，可以用格式工厂进行转换（感觉必要性不大）。

一分钟前3060又爆掉了，只好重启。

听说4060 Ti的16G显卡上市了，我去看看... ...