【StableDiffusion教程】AI绘画Stable Diffusion AnimateDiff 最稳定的基于文本生成视频的方法

小陈乱敲代码

已于 2024-12-31 16:51:54 修改

阅读量876

点赞数 13

文章标签： stable diffusion AI作画音视频 AIGC 人工智能 Animatediff 文生视频

于 2024-12-18 11:54:11 首次发布

本文链接：https://blog.csdn.net/zzz777qqq/article/details/144557742

版权

在数字艺术领域，[AI绘画]技术已经逐渐成为艺术创作的新趋势。StableDiffusion作为一款领先的AI绘画工具，推出了AnimateDiff功能，这是目前最稳定的基于文本生成视频的方法。现在，让我们一起来探索StableDiffusion的AnimateDiff功能，开启你的创意视频之旅。

在这里插入图片描述

大家好我是极客菌！！！

今天给大伙分享一下目前来看比较稳定的文本生视频的插件 AnimateDiff。

之前虽然小视频生成比较火，不过出的视频都不太稳定，目前来看 AnimateDiff 是相对比较稳定的，而且能同时支持和其他插件一起使用。

一 AnimateDiff 介绍

在这里插入图片描述

AnimateDiff 使用控制模块来影响 Stable Diffusion
模型。它通过各种短视频剪辑进行训练。控制模块可以对图像生成过程进行调节，以生成一系列看起来像它学习的视频剪辑的图像。

简单来说，SD 模型的训练是通过大量的图片进行训练。而 AnimateDiff 则是通过大量的短视频来进行训练图片之间的衔接（视频帧的流畅性）

结合 SD 模型，在出图的时候就可以通过 AnimateDiff 模型对生成出的每一张图进行微调，最后拼接成短视频。

二安装

使用 AnimateDiff 需要安装 SD 插件和 AnimateDiff 模型。

插件安装

如果你能科学上网，那么可以直接在扩展->从网址安装中填入 https://github.com/continue-revolution/sd- webui- animatediff.git 在这里插入图片描述

如果你没办法通过网站安装，安装包也给大家准备好了，公众号回复 插件 获取 sd-webui-animatediff 压缩包，解压到你的 SD
安装目录下的 stable-diffusion-webui/extensions/

模型下载

安装好插件之后，将 AnimateDiff 模型下载放到 stable-diffusion-webui/extensions/sd-webui- animatediff/model/

下载链接（需要的同学可以自行扫描获取）

同样如果没办法下载的话，公众号回复 模型 找到 mm_sd_v15_v2.ckpt 放到本地的目录中即可。

安装成功之后，重启 Stable Diffusion，在文生图页面可以看到 AnimateDiff
插件配置在这里插入图片描述

三视频生成

第一步：先填写基础信息

模型：majicmixRealistic_v6
提示词：((pure white background )),Best quality,masterpiece,ultra high res,raw
photo,beautiful and aesthetic,(photorealistic:1.4),1girl,full-body
composition,striking perspective
Danceing,
high-waisted shorts,ruffled blouse
反向提示词：FastNegativeV2 EasyNegative

其它的先使用默认的

第二步：配置AnimateDiff 在这里插入图片描述