实时流式数字人，代码开源

目前数字人模型效果最好的是ernerf，其借鉴了nerf体渲染的思路，在输入维度上添加了音频特征，通过音频来影响渲染效果（控制嘴型）。 本文基于ernerf模型实现了实时流式数字人，代码已经开源https://github.com/lipku/metahuman-stream 总体流程如下 [图片] text输入可以来自websocket，实现数字人播报输入文字。 也可以接入chatgpt，将chatgpt的回答做为text输入，这样就实现了数字人实时对话效果。 tts采用的免费edge tts，这个延时...【查看原文】