[Stable Diffusion教程 2024] 本机AI视频生动画 | AnimateDiff桌面UI工具DiffEx使用指南 | 免费 快捷 为自己做动画

小林AI实验室
2 Mar 202409:23

TLDR大家好，我是小林。今天分享的主题是DiffEx AI视频生动画工具的使用指南。DiffEx是一个桌面UI工具，它简化了动画制作流程，允许用户在本机生成视频，无需依赖在线服务。与Sora、Pika等工具相比，DiffEx更加自由且经济。用户通常只需3-5步即可完成动画制作。在开始前，需要在本机安装DiffEx及其依赖组件AnimateDiff Prompt Travel和ffmpeg。安装完成后，用户可以通过DiffEx选择AI模型、动作模块和编解码器，设置帧率和画质，然后上传视频并开始动画生成。过程中，用户可以通过控制台了解每一步的运行情况。如果遇到问题，如torch版本与CUDA不兼容，可以通过指定命令修复。最终，动画视频将保存在指定目录中，用户可以查看并分享自己的动画作品。

Takeaways

  • 🎬 使用DiffEx AI视频生动画，可以将普通视频如跳舞的小姐姐或飞驰的赛车转换成动画效果。
  • 🚀 DiffEx允许用户在本机生成视频，相比在线工具如Sora和Pika，更加自由和经济。
  • 📚 DiffEx简化了动画制作流程，通常只需3-5步即可完成动画制作。
  • 💻 在使用DiffEx之前，需要在本机安装DiffEx及其依赖的AnimateDiff Prompt Travel。
  • 🔗 需要安装Python、Git和ffmpeg以支持DiffEx的运行和视频编解码工作。
  • 📥 用户需要下载并安装特定的AI模型，包括Model、Motion Module和VAE。
  • 📝 在DiffEx中，用户可以通过输入项目的名称、选择模型和设置参数来开始动画制作。
  • 🎭 Stylize步骤是将视频抽帧和生成蒙版，但不生成视频。
  • 🖌️ Prompt界面允许用户输入提示词来修改原视频内容，如改变衣服颜色。
  • 🔧 在Execute界面，用户可以指定动画的宽高、帧率、帧数和视频格式等参数。
  • 🛠️ 如果遇到安装或运行错误，如Torch与CUDA版本不兼容，需要根据提示修复问题。
  • 📂 生成的动画视频文件保存在animatediff-cli-prompt-travel的stylize目录下。

Q & A

  • DiffEx是什么，它与Stable Diffusion有什么关系？

    -DiffEx是一个AI视频生动画工具，它是Stable Diffusion的一个衍生工具，专门用于简化动画制作流程。它允许用户在本机生成视频动画，无需依赖在线服务。

  • 使用DiffEx之前需要做哪些准备工作？

    -使用DiffEx之前，需要在本机安装DiffEx程序，安装AnimateDiff Prompt Travel，以及安装ffmpeg用于视频编解码。还需要设置系统环境变量以便于调用ffmpeg。

  • AnimateDiff Prompt Travel是什么，它在DiffEx中扮演什么角色？

    -AnimateDiff Prompt Travel是DiffEx依赖的一个组件，用于支持DiffEx进行视频动画的生成。它是AnimateDiff的一个UI封装版，提供了动画制作的基础设施。

  • 如何安装AnimateDiff Prompt Travel？

    -安装AnimateDiff Prompt Travel需要运行animatediff-installer.bat文件，该文件会提示需要安装的依赖，如python、git等。安装过程可能需要5-30分钟，取决于网络速度。

  • DiffEx中提到的Model、Motion Module和VAE分别是什么？

    -在DiffEx中，Model是用于生成图片的AI模型，Motion Module是生成帧与帧之间动作的模型，而VAE是图片编解码器。这些组件共同协作以生成动画。

  • 如何下载并安装DiffEx所需的AI模型？

    -可以从视频下方的说明中找到下载链接，下载后将模型文件存放到DiffEx文件夹中对应的目录里，如Model存放在sd目录，Motion Module存放在motion-module目录，Vae存放在vae目录。

  • 在DiffEx中，如何设置动画生成的参数？

    -在DiffEx的Setup界面中，可以指定项目的名称、选择模型、设置Scheduler（抽样方法）、Steps（步数）、CFG（配置）、FPS（帧率）等参数。设置完成后，DiffEx会根据原视频和设置生成动画。

  • 如果在生成动画时遇到错误，比如Torch not compilied with CUDA enabled，应如何解决？

    -解决这个问题需要确保安装的torch版本与CUDA版本兼容。可以通过命令窗口进入DiffEx下的animatediff-cli-prompt-travel目录，启动python虚拟环境，并根据提示信息安装正确的torch版本。

  • 动画视频生成后，文件保存在哪里？

    -动画视频文件保存在animatediff-cli-prompt-travel的stylize目录下，具体位置是日期加项目名称的子目录中。

  • DiffEx的Stylize功能是做什么的？

    -Stylize功能用于将视频抽帧和生成蒙版，它是动画生成过程的一部分，但不会直接生成视频。

  • 在DiffEx的Prompt界面中，可以如何修改原视频的内容？

    -在Prompt界面中，用户可以通过输入提示词来修改原视频的内容，如改变角色的服装颜色或其他特征。同时，也可以输入反向提示词来避免某些不希望出现的效果。

  • 为什么在第一次使用DiffEx时建议上传一个3秒以内的视频？

    -建议上传较短的视频是因为动画生成过程可能需要较长时间，使用较短的视频可以加快实验过程，避免长时间的等待。

Outlines

00:00

🚀 Introduction to DiffEx AI Video Animation Tool

The video begins with the host, Xiaolin, introducing the DiffEx AI video animation tool, which can transform videos of a dancing girl or a racing car into animated versions with smooth effects and minimal flickering. Compared to other online animation tools like Sora and Pika, DiffEx allows for video generation on the user's local machine, offering freedom and cost-effectiveness. It simplifies the animation process, eliminating the need for manual configurations of Stable Diffusion's WebUI. The user can typically complete the animation in just 3-5 steps. Before using DiffEx, the user must install it on their machine, which involves downloading DiffEx from C site, extracting the files, and installing dependencies like AnimateDiff Prompt Travel, python, git, and ffmpeg. Detailed instructions for these installations are provided in the video.

05:05

🎬 Using DiffEx for Video Animation

The host guides viewers through the process of using DiffEx to animate a video. Initially, users should upload a short video, around 3 seconds, to avoid long processing times. The video's FPS is set to match the setup interface. Before processing, the user should open the DiffEx console and switch to the Advanced interface to monitor the animation creation process. The 'Stylize' process extracts frames and generates masks from the video without creating the final animation. After stylizing, the user enters prompts in the Prompt interface to customize the animation, such as changing the girl's dress color to red. The Execute interface is then used to set parameters for the animation, and the user can keep the default values provided by DiffEx. The host also shares troubleshooting tips for issues like 'Torch not compiled with CUDA enabled' and explains how to fix them. Finally, the video shows where to find the generated animation files and how to view the individual frames for a slow-motion effect. The host encourages viewers to ask questions if they encounter difficulties during installation and thanks them for their support.

Mindmap

Keywords

💡DiffEx

DiffEx是一个桌面UI工具，用于AI视频生动画。它是Stable Diffusion的一个衍生工具，简化了动画制作流程，允许用户在本机生成视频，无需依赖在线服务。在视频中，DiffEx被用来将跳舞的小姐姐视频转换成动画，展示了其操作简便性和效果自然流畅的特点。

💡AnimateDiff Prompt Travel

AnimateDiff Prompt Travel是DiffEx依赖的一个组件，用于视频的动画生成。它是一个重要的后端程序，DiffEx通过它来实现动画效果。在安装DiffEx之前，需要先安装AnimateDiff Prompt Travel，因为它负责处理视频的编解码以及动画效果的生成。

💡ffmpeg

ffmpeg是一个开源的多媒体编解码工具，广泛用于音视频处理。在视频中，ffmpeg用于支持DiffEx进行视频的编解码工作，是实现视频动画生成不可或缺的工具。用户需要下载并安装ffmpeg，并且配置环境变量以供DiffEx调用。

💡AI模型

AI模型在视频中指的是用于生成图片和动作的人工智能模型，包括Model、Motion Module和VAE。这些模型是动画生成过程中的核心，决定了生成动画的质量和风格。用户需要下载并安装这些模型，以便DiffEx可以正确地生成动画。

💡Stable Diffusion

Stable Diffusion是一个开源的AI图像生成模型，能够生成高质量的图像。在视频中，DiffEx作为Stable Diffusion的衍生工具，利用了其图像生成的能力来制作动画，展示了Stable Diffusion在动画制作上的应用潜力。

💡视频编解码

视频编解码是指对视频进行压缩和解压缩的过程，这对于视频存储和传输非常重要。在视频中，DiffEx需要进行视频编解码工作，以便处理原始视频并生成动画。ffmpeg就是用于这一目的的工具，它帮助DiffEx高效地处理视频数据。

💡Controlnet

Controlnet是DiffEx中用于控制动画生成过程的一个组件，它可以配置更多的ControlNet Units来调整动画的细节。在视频中，Controlnet被用来微调动画效果，例如改变视频中女孩衣服的颜色，使其更加符合用户的创意需求。

💡Torch

Torch是一个开源的机器学习库，广泛用于AI模型的训练和推理。在视频中，Torch是AnimateDiff Prompt Travel运行所依赖的环境之一。如果Torch版本与CUDA不兼容，可能会导致错误，需要通过安装正确版本的Torch来修复。

💡CUDA

CUDA是NVIDIA推出的一个并行计算平台和编程模型，用于利用NVIDIA GPU进行通用计算。在视频中，如果用户的Torch版本与CUDA版本不兼容，会影响DiffEx的正常运行。因此，用户需要确保CUDA驱动和Torch版本相匹配，以保证动画生成过程的顺利进行。

💡环境变量

环境变量是操作系统中用于存储配置信息的变量，它们可以被系统和应用程序读取和使用。在视频中，用户需要设置环境变量以指定ffmpeg的bin路径，这样DiffEx和其他应用程序就可以方便地调用ffmpeg进行视频处理。

💡动画制作流程

动画制作流程是指从原始视频到生成动画成品的一系列步骤。在视频中，DiffEx通过简化这一流程，使得用户可以快速地将视频转换成动画。用户只需通过几个简单的步骤，如选择模型、设置参数、执行动画生成等，就可以完成整个动画制作。

Highlights

DiffEx AI视频生动画工具可以轻松将小姐姐跳舞的视频转换成动画

飞驰的赛车视频也能快速变成动画，动画效果自然流畅

DiffEx有效控制了画面闪烁的问题

与Sora, Pika等在线工具相比，DiffEx允许用户在本机生成视频，更自由经济

DiffEx简化了动画制作流程，用户通常只需3-5步即可完成动画制作

DiffEx是Stable Diffusion的一个衍生工具，无需SD WebUI的繁琐手动配置

在本机安装DiffEx前，需要先安装AnimateDiff Prompt Travel和ffmpeg

AnimateDiff Prompt Travel安装可能需要5-30分钟，取决于网速

用户需要手动安装AI模型，包括Model, Motion Module, VAE

下载AI模型后，需存放到DiffEx文件夹对应的目录中

项目名称、模型选择、帧率设置等是动画制作的关键步骤

Stylize步骤是将视频抽帧和生成蒙版，但不生成视频

Prompt界面允许用户输入提示词来修改原视频内容

Execute界面用于指定动画的宽高、帧率、帧数、视频格式等参数

生成动画时可能会遇到如Torch与CUDA版本不兼容的错误

修复Torch与CUDA版本不兼容的错误需要更新torch并安装对应版本的CUDA

动画视频文件保存在animatediff-cli-prompt-travel的stylize目录下

用户可以通过图片浏览器快速浏览生成动画的每一张图片

安装步骤较多，遇到问题可以在视频下方留言区提问

Casual Browsing

【AI】2024年4款最强AI视频转动漫工具。其中一款完全免费，最后一个青出于蓝 | #AI视频 | #AI生成视频

2024-04-22 23:25:00

【AI】2024年最强AI视频生成工具TOP 5，其中三款完全免费

2024-05-08 01:55:01

Stable Diffusion ForgeUI | 全新的SD版本，AI绘画神器，为拯救低显存用户而生 | 0到1安装教程！

2024-04-23 00:05:00

【Stable Diffusion】超详细 快速 本地安装部署教学方法一：启动器

2024-03-28 14:05:00

Stable Diffusion Online免費線上版開放使用！趕緊用起來！自己要的圖，自己畫！！（CC字幕）

2024-04-01 22:05:00