MagicAnimate

最新推荐文章于 2024-12-03 15:20:58 发布

四问四不知

最新推荐文章于 2024-12-03 15:20:58 发布

阅读量1.2k

点赞数 1

文章标签： python

本文链接：https://blog.csdn.net/zkkzpp258/article/details/134886225

版权

新加坡国立大学Show实验室与字节合作的MagicAnimate项目利用扩散模型提高动画的真实性和时间一致性。该项目开源，包含预训练模型和配置文件，需Python3.8及以上和特定CUDA版本，以及ffmpeg。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

简介

新加坡国立大学 Show 实验室和字节联合做了一项类似的研究。他们提出了一个基于扩散的框架 MagicAnimate，旨在增强时间一致性、忠实地保留参考图像并提升动画保真度。并且，MagicAnimate 项目是开源的，目前推理代码和 gradio 在线 demo 已经发布。

论文地址：MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model
GitHub项目地址：https://github.com/magic-research/magic-animate
镜像下载地址：git clone https://gitclone.com/github.com/magic-research/magic-animate

初步了解

可以通过readme了解项目大概，
在这里插入图片描述
需要下载预训练的基本模型 StableDiffusion V1.5 和 MSE-finetuned VAE
且需要下载下列检查点，

magic-animate
|----pretrained_models
  |----MagicAnimate
    |----appearance_encoder
      |----diffusion_pytorch_model.safetensors
      |----config.json
    |----densepose_controlnet
      |----diffusion_pytorch_model.safetensors
      |----config.json
    |----temporal_attention
      |----temporal_attention.ckpt
  |----sd-vae-ft-mse
    |----...
  |----stable-diffusion-v1-5
    |----...
|----...