animatediff官网,Stable Diffusion AI视频生成插件,将静态图片转化为动态动画animatediff简介AnimateDiff可以将静态图片转化为动态动画。该方法适用于不同类型的图片，且不需要特定的调整。通过训练好的运动建模模块，可以直接将个性化T2I模型转化为动画。该方法还可以推广到3D卡通和2D动画领域。该方法可以成为个性化动画生成的简单有效基线。使用 AnimateDiff 需要安装SD插件和AnimateDiff模型。github开源项目地址：https://github.com/guoyww/animatediffWebUI插件地址：https://github.com/continue-revolution/sd-webui-animatediffarxiv论文地址：https://arxiv.org/abs/2307.04725AnimateDiff 使用控制模块来影响 Stable Diffusion 模型。它通过各种短视频剪辑进行训练。控制模块可以对图像生成过程进行调节，以生成一系列看起来像它学习的视频剪辑的图像。简单来说，SD 模型的训练是通过大量的图片进行训练。而 AnimateDiff 则是通过大量的短视频来进行训练图片之间的衔接（视频帧的流畅性）结合 SD 模型，在出图的时候就可以通过 AnimateDiff 模型对生成出的每一张图进行微调，最后拼接成短视频。AnimateDiff ：更优质的动画生成体验– 文本到图像模型和个性化技术的进步使得每个人都能以较低的成本将他们的想象力体现为高质量的图像。AnimateDiff 在文生图模型中插入动作建模模块，用以避免破坏原有文生图微调模型生成能力，并在视频数据上学习合理的动作先验。在训练过程中，首先对模型结构进行了扩展使之可以接受视频格式数据；同时在参数更新时保持原有文生图模型权重不变，使得训练后的网络权重可以即插即用地驱动不同版本的定制化微调模型，而无需针对相应模型做任何优化。在推理时，插入动作建模模块直接到相应定制化模型中，组合后的模型对采样的噪声序列去噪，生成相应的动画片段。在 AnimateDiff 中，作者提出了一种将任何定制化文生图模型拓展用于动画生成的框架，可以在保持原有定制化模型画面质量的基础上，生成相应的动画片段。为色彩斑斓的鹅卵石，增添一些动态的光泽。Stable diffusion中快速生成不闪烁动画的插件，叫AnimateDiff。Animatediff是香港中文大学团队开源的AI视频生成方法，基于Stable DIffusion的开源基建，8月份开源模型之后，一个月就把AI视频生成的质量提高了几个等级。比如下面这个视频就是用Animatediff从0生成的，只需要一段提示词，用户可以描述在视频的第几秒出现什么样的画面!插件安装教程Stable diffusion插件安装方法有以下三种：1. 启动“Stable Diffusion”，点击“扩展”—“可下载”—再点击“加载扩展列表”，搜索关键词“AnimateDiff”，点击“安装“，安装完成之后，重启一下“Stable Diffusion”即可。从网址安装，复制Github的URL，将插件的URL粘贴到“扩展的git仓库网址”上，在点击”安装“，安装完成之后，重启一下”Stable Diffusion“即可。插件Github URL：https://github.com/continue-revolution/sd-webui-animatediff.git3. 插件安装包安装，在Github下载该插件的安装包并安装到“Stable Diffusion”目录中的“extensions”文件夹中即可。（文末提供安装包） 模型下载安装好插件之后，还需要下载一个动画模型和八个控制镜头的LoRA模型，（控制镜头的模型可以不用下载，但是动画模型必须下载），动画模型下载最新的“mm_sd_v15_v2.ckpt“这个即可，它是最新的也是最稳定效果最好的。下载好模型后就需要把模型放到对应的文件夹里面。“mm_sd_v15_v2.ckpt”这个模型放到“…sd-webui-aki-v4.2extensionssd-webui-animatediffmodel”文件夹即可，LoRA模型放到“…sd-webui-aki-v4.2modelslora”即可。安装好插件并把模型放到对应的文件夹之后，重启Stable Diffusion就可以看到“AnimateDiff”这个插件啦。在线体验animatediff1.打开: https://openxlab.org.cn/apps/detail/Masbfca/AnimateDiff2. 先后选择 Base DreamBooth Model 与 Motion Module （可跳过此步，直接使用默认配置，也可自己调整）3. 填写 Prompt 和 Negative Prompt示例：Prompt masterpiece, best quality, 1girl, solo, cherry blossoms, hanami, pink flower, white flower, spring season, wisteria, petals, flower, plum blossoms, outdoors, falling petals, white hair, black eyesNegative Prompt worst quality, low quality, nsfw, logo4.点击 Generate，等待一分钟左右，获得生成的动画视频