本篇是对全新文生动画模型 Stable Animation SDK 的重点详解+部署方案+实测+原文翻译
重点详解
1️⃣使用模型:
Stable Diffusion全系列模型,包括最新的SDXL
2️⃣提供3种生成方式:
1)文本 生成动画
2)初始图片+文本 生成动画
3)输入视频+文本 生成动画
3️⃣使用方式:
本地或云部署,均通过调用官方API使用
官方提供了云部署方案:
我也为大家制作了加了使用说明的中文版方案(需要的私我):
4️⃣费用结算:
按积分结算(使用DreamStudio账号),费用由生成静帧图像和制作动画两部分构成。
采用默认参数(512*512、30步、SD1.5模型、100帧)生成8s动画视频的费用是37.5积分。
详细费用价格表见下图
5️⃣参数构成:
静帧图像参数(与SD相同)+ 动画制作参数
6️⃣操作界面分三个板块:
项目创建、
动画渲染(提示词、静帧参数、输入源、动画制作参数)、
后期处理
7️⃣实际测试:
图像效果很不错
但是动画连贯性和镜头控制上还有待提升
✅详细教程我们下期见~
原文翻译
5月12日凌晨,世界领先的开源人工智能公司Stability AI发布了 Stable Animation SDK,这是一款专为艺术家和开发人员设计的工具,使用最先进的 Stable Diffusion 模型生成令人惊叹的动画。
用户可以通过提供提示词(没有图像)、提供源图像或源视频等3种不同的方式创建动画。
通过使用Stability AI的动画接口,艺术家可以使用所有的Stable Diffusion模型(包括Stable Diffusion 2.0和最新模型XL)来生成动画。
我们提供了三种创建动画的方法:
1. 文本到动画:用户输入文本提示(与Stable Diffusion一样)并调整各种参数以产生动画。
2. 初始图像输入+文本输入:用户提供一个初始图像,作为动画的起点。文本提示词与图像一起使用,以产生最终的输出动画。
3.输入视频+文本输入:用户提供一个初始视频作为动画的基础。通过调整各种参数,将得到一段由文本提示词指导的输出动画。
参考:
https://stability.ai/blog/stable-animation-sdk
https://platform.stability.ai/docs/features/animation