免费生成不限时长的AI数字人，腾讯开源项目MuseV本地部署详解

原创 开山怪 火星AIGC 2024-04-15 17:01 四川 听全文

腾讯旗下的天琴实验室刚刚开源了AI数字人MuseV项目，项目全称是：基于视觉条件并行去噪的无限长度和高保真虚拟人视频生成（MuseV: Infinite-length and High Fidelity Virtual Human Video Generation with Visual Conditioned Parallel Denoising）。MuseV和其稍后发布的MuseTalk视频唇形同步是一套完整的AI数字人解决方案。随着这两个项目的开源我们可以免费制作不限时长的AI数字人了。先看看官方demo

项目特点1.不限时长2.文本到视频生成3.视频到视频生成4.兼容 Stable Diffusion文生图生态系统，包括基础模型、Lora、Controlnet等

5.支持多参考图像技术，例如IPAdapter、ReferenceOnly、IPAdapterFaceID等

技术图示模型结构示意图

并行去噪算法示意图

使用方法目前MuseV开源项目有四种使用方法。1.根据技术说明，自行克隆部署。项目地址：

github.com/tmelyralab/musev

2.官方在抱抱脸上开启了了Demo试用。Demo地址：

huggingface.co/spaces/AnchorFake/MuseVDemo

3.Windows本地部署一键运行。这个是B站大神“十字鱼”做的一键运行整合包，直接下载解压就可以一键运行。

地址网盘:

https://www.123pan.com/s/Pf5Yjv-Bb9W3.html 

网盘里有两个文件，另一个是MuseTalk，下载后解压MuseV这个文件，然后点“01运行程序”这个文件。

除了Video Length视频时长外，其他参数都可以不变，默认每秒6帧，时长12就代表生成2秒视频。

默认 W&H 为 -1，使用参考图像的尺寸。目标视频的大小为( W ,H ）。图像尺寸越短，运动幅度越大，视频质量越低。W&H越长，运动幅度越小，视频质量越高。注意事项：最好放在C盘全字母的文件夹；运行前开启魔法网络，因为还要自动下载几个模型；12G显存以上显卡，越大越好。4.SD Comfyui运行。在管理器中安装节点页面搜索“MuseV”，然后点安装

下载工作流导入Comfyui。

工作流下载地址：github.com/chaojie/ComfyUI-MuseV

整体来说效果不错，目前可控制的部分很少，图像越大，动作幅度越小，推荐不要超过1024。图像越大越吃显存，耗时也比较长，我生成一个1024*1536的10秒视频花了1个多小时，用的2080Ti 22G显存。下次再讲另一个MuseTalk唇形对准项目，这个更好玩。