腾讯开源数字人，低阶版Sora解决方案

腾讯开源了两个工具，一个叫MuseV，可以实现一张图变成视频；另一个叫MuseTalk，可以导入视频和音频，实现实时高质量唇形同步。

两款工具结合，可以实现开源数字人，从而实现低阶版的Sora效果。

当然，现阶段效果还比较粗糙，但考虑到是开源版本，能在本地部署，未来可期。

MuseTalk 是由腾讯团队开发的先进技术，

项目地址：https://github.com/TMElyralab/MuseTalk

它是一个实时的音频驱动唇部同步模型。该模型能够根据输入的音频信号，自动调整数字人物的面部图像，使其唇形与音频内容高度同步。这样，观众就能看到数字人物口型与声音完美匹配的效果。MuseTalk 特别适用于256 x 256像素的面部区域，且支持中文、英文和日文等多种语言输入。在NVIDIA Tesla V100显卡上，MuseTalk 能够实现超过每秒30帧的实时推理速度。此外，用户还可以通过调整面部区域的中心点，进一步优化生成效果。

MuseTalk 可应用于多种场景，包括但不限于：

视频配音与唇同步：制作配音视频时，MuseTalk 能够根据音频调整人物的口型，从而提升视频的真实感和观看体验。

虚拟人视频生成：作为一整套虚拟人解决方案的一部分，MuseTalk 可以和 MuseV（视频生成模型）配合使用，创造出高度逼真的虚拟人演讲或表演视频。

视频制作与编辑：在视频制作和编辑中，当需要更改角色台词或语言而不愿重新拍摄时，MuseTalk 提供了一个高效的解决方案。

教育和培训：在教育领域，MuseTalk 可以用于制作语言教学视频，帮助学习者更准确地学习语言发音和口型。

娱乐与社交媒体：内容创作者可以利用 MuseTalk 为照片或绘画作品添加口型动画，创造有趣的视频内容分享至社交媒体，为粉丝提供新颖的互动体验。

官方提供了ComfyUI节点和一键安装包.

本文先介绍ComfyUI的安装步骤。

通过管理器安装：

https://github.com/chaojie/ComfyUI-MuseTalk

该功能需要mmcv、mmdet等组件，因为兼容性问题，这些组件直接使用pip安装会失败，建议使用mim安装。

如果是使用的秋叶一键包（假设安装在E盘），安装方法：

E:\ComfyUI\.ext\Scripts>mim install mmcv

E:\ComfyUI\.ext\Scripts>mim install mmdet

如果没有.ext文件夹，请改成Python文件夹。

模型路径：

ComfyUI/models/diffusers/TMElyralab/MuseTalk/
├── musetalk
│ └── musetalk.json
│ └── pytorch_model.bin
├── dwpose
│ └── dw-ll_ucoco_384.pth
├── face-parse-bisent
│ ├── 79999_iter.pth
│ └── resnet18-5c106cde.pth
├── sd-vae-ft-mse
│ ├── config.json
│ └── diffusion_pytorch_model.bin
└── whisper
└── tiny.pt

模型网盘下载：

https://pan.quark.cn/s/e34fe8d2eb17

安装完组件和模型后，重启启动器。

工作流下载：

链接：https://pan.quark.cn/s/95813e3e21d1

调试环境就用了我三个小时... ...

工作流说明：

1、加载视频

上传用来当数字人的视频即可，最好是相对简单的画面背景

2、合并为视频

看不懂参数，选择默认即可（我也没有详细测试）

3、选择音频

需要注意的是，上传音频的节点需要手工录入路径，音频文件建议wav格式（其他格式没测试），如我的路径是：E:/MuseTalk/data/audio/yongen.wav

起始时间的单位是毫秒。

4、合并视频

推荐默认设置，生成的视频文件可以直接右键下载。