Stable Video Diffusion
Les réseaux neuronaux génératifs peuvent créer différents types de contenu. Stable Diffusion a été créé pour générer des images à partir d'une description textuelle. Cependant, il peut également être utilisé pour créer de la musique, des sons et même des vidéos. Aujourd'hui, nous allons vous montrer comment créer de courtes vidéos à partir d'une seule image en utilisant Stable Diffusion avec WebUI et ComfyUI.
Installer Stable Diffusion
Commençons par installer Stable Diffusion en suivant notre guide pas à pas. Après l'installation, veuillez interrompre l'exécution du script webui.sh en appuyant sur Ctrl + C et fermer la connexion SSH. Le système ne vous permet pas d'installer des extensions avec les options --listen (--share) activées. Cela signifie que vous devez mettre en place une redirection de port (7860 et 8189) de votre machine locale vers le serveur distant. Le premier port est nécessaire pour WebUI et le second pour ComfyUI.
Par exemple, dans PuTTY, vous devez ouvrir Connection >> SSH >> Tunnels et ajouter deux nouveaux ports transférés comme le montre la capture d'écran suivante :
Maintenant, vous pouvez vous reconnecter au serveur distant et exécuter ./webui.sh à nouveau.
Ouvrez cette URL dans votre navigateur :
http://127.0.0.1:7860Naviguez jusqu'à Extensions >> Available, puis cliquez sur le bouton Load from::
Le système téléchargera le fichier JSON avec toutes les extensions disponibles. Tapez ComfyUI dans le champ de recherche et cliquez sur le bouton Install:
La page web sera rechargée et vous obtiendrez un nouvel onglet ComfyUI dans le panneau principal. Allez-y et cliquez sur Install ComfyUI:
Lorsque l'installation est terminée, interrompez à nouveau l'exécution du script webui.sh en appuyant sur Ctrl + C.
Installer le modèle de diffusion vidéo stable
Ouvrez le répertoire du modèle :
cd stable-diffusion-webui/models/Stable-diffusion/Télécharger le modèle complet de diffusion vidéo stable :
curl -L https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/resolve/main/svd_xt.safetensors?download=true --output svd_xt.safetensorsRetour au répertoire d'origine :
cd ~/Et relancez le service Stable Diffusion :
./webui.shTéléchargez l'exemple de workflow de diffusion vidéo stable au format JSON. Effacez le flux de travail par défaut de ComfyUI en appuyant sur Clear, puis Load l'exemple téléchargé :
Assurez-vous que vous avez sélectionné le bon modèle dans le nœud Image Only Checkpoint Loader (img2vid model):
Cliquez sur le bouton choose file to upload dans le nœud Load Image et sélectionnez une image unique que le réseau neuronal génératif transformera en vidéo :
Essayez de générer une vidéo avec tous les paramètres par défaut en cliquant sur le bouton Queue Prompt:
Une fois le processus terminé, vous obtiendrez votre vidéo au format WEBP dans le nœud SaveAnimatedWEBP. Cliquez avec le bouton droit de la souris sur la vidéo générée et choisissez Save Image:
Voici le résultat final GIF.
Résolution des problèmes
Si vous obtenez un message d'erreur : ModuleNotFoundError: No module named 'utils.json_util'; 'utils' is not a package veuillez suivre les étapes suivantes :
Renommez le répertoire utils en utilities :
mv /home/usergpu/stable-diffusion-webui/extensions/sd-webui-comfyui/ComfyUI/utils /home/usergpu/stable-diffusion-webui/extensions/sd-webui-comfyui/ComfyUI/utilitiesModifier custom_node_manager.py:
nano /home/usergpu/stable-diffusion-webui/extensions/sd-webui-comfyui/ComfyUI/app/custom_node_manager.pyRemplacer cette ligne :
from utils.json_util import merge_json_recursivepar :
from utilities.json_util import merge_json_recursiveSauvegardez le fichier (Ctrl + O) et quittez l'éditeur (Ctrl + X). Editez ensuite main.py:
nano /home/usergpu/stable-diffusion-webui/extensions/sd-webui-comfyui/ComfyUI/main.pyRemplacez cette ligne :
import utils.extra_configpar :
import utilities.extra_configSauvegardez le fichier, quittez l'éditeur et relancez le service de diffusion stable :
./webui.shVoir aussi:
Mis à jour: 04.04.2025
Publié: 22.01.2025
