四步点亮实时交互AI数字人LiveTalking 上手指南免费开源【免费下载链接】metahuman-streamReal time interactive streaming digital human项目地址: https://gitcode.com/GitHub_Trending/me/metahuman-stream如果你正在做一个能实时应答的数字人客服、虚拟主播是不是总卡在同一个问题上数字人说话像放录音嘴型、音色、延迟都对不上LiveTalkingReal time interactive streaming digital human实时交互流式数字人引擎就是干这个的它把文本/语音输入、LLM 对话、TTS 合成、口型渲染串成一条实时管线再把画面推到浏览器、直播间或虚拟摄像头里——数字人边说边听还能被随时打断。项目基于 Apache 2.0 协议开源。读完这篇文章你会完成三件事把环境装好并让默认数字人开口说第一句话、按场景选对推流通道、拿到一份哪里出问题查哪里的调参与排错地图。 动手前硬件与环境自查LiveTalking 的推理链路是GPU 算口型 CPU 压视频所以硬件不是越贵越好而是要卡住下限。官方在 Ubuntu 22.04、Python 3.12、PyTorch 2.9.1、CUDA 12.8 上验证通过各档显卡的实际表现可以直接参考项目参考值备注操作系统Linux / Win / MacGPU 环境优先 LinuxPython3.123.10conda 隔离环境PyTorch / CUDA2.9.1 / CUDA 12.8先nvidia-smi确认 CUDA显卡wav2lipRTX 3060 及以上实测 3060 跑 60 FPS显卡musetalkRTX 3080Ti 及以上3080Ti 实测 42 FPS注意WebRTC 模式的服务端需要开放 TCP:8010 与 UDP:1~65536 端口防火墙不放开浏览器端连接会一直转圈。环境自查清单对照过一遍再动手nvidia-smi能正常输出记下 CUDA 版本号conda 可用能创建 3.10 的新环境服务器防火墙/安全组已放行 8010 与 UDP 端口段models/和data/avatars/两个目录有写权限清单全勾下面的四步就能一路走完。⚡ 四步点亮数字人从克隆到第一次对话第一步拉仓库、建环境git clone https://gitcode.com/GitHub_Trending/me/metahuman-stream cd metahuman-stream conda create -n livetalking python3.12 conda activate livetalking pip install torch2.9.1 torchvision0.24.1 torchaudio2.9.1 --index-url https://download.pytorch.org/whl/cu128 pip install -r requirements.txt # 按上面版本装完 torch 再装其余依赖第二步放模型文件从 README 里给的网盘下载两个文件夸克云盘或 Google Drive 任选摆到指定位置mv wav2lip256.pth models/wav2lip.pth # 模型权重放进 models/ 并改名 tar -xf wav2lip256_avatar1.tar.gz # 解压数字人素材 cp -r wav2lip256_avatar1 data/avatars/ # 整个文件夹放进 data/avatars/避坑wav2lip256.pth必须改名为wav2lip.pth素材文件夹名必须保持wav2lip256_avatar1与启动参数--avatar_id完全一致差一个字符都会加载失败。第三步启动服务python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1看到日志打印start http server; http://serverip:8010服务就起来了。第四步浏览器说第一句话打开http://服务器IP:8010/index.html点开始连接在文本框输入一句话提交——数字人开口回应的那一刻整条链路就通了。背后发生了什么用一张图说清四步走完你手里已经有一个能实时对话的数字人服务。接下来解决画面推到哪里去。 三种推流通道按场景选一个LiveTalking 把输出层做成了插件切换通道只需要改一个启动参数。config.yaml 里的transport字段支持四种取值通道启动参数适用场景WebRTC--transport webrtc浏览器低延迟对话首选RTMP--transport rtmp --push_url 推流地址推 B 站/YouTube 直播间虚拟摄像头--transport virtualcam塞进 Zoom/腾讯会议RTC 推流--transport rtcpush --push_url 地址对接 SRS 等 RTC 服务虚拟摄像头模式最特别服务在后台渲染画面直接写进系统摄像头设备任何会议软件把它当真摄像头用就行。配合 docs/virtualcam_guide.md 里的 OBS 配置说明几分钟后你的数字人就能坐在腾讯会议里发言。选通道的口诀要交互选 WebRTC要观众多选 RTMP要混进会议选虚拟摄像头。 让它换声、对话、登台三个真实用法如果你想批量生产数字人视频不用碰界面直接打 HTTP 接口。POST /human发文本type: echo直接复读、type: chat走 LLMPOST /humanaudio传音频文件/record控制录制接口清单见 docs/api.md。curl -X POST http://127.0.0.1:8010/human \ -H Content-Type: application/json \ -d {sessionid:会话ID,text:你好我是数字人,type:echo}如果你想给它换个声音TTS 是模块化插件tts/ 下内置了 edge、doubao、sovits、tencent、azure 等引擎。想克隆某个人的音色在 config.yaml 里把tts换成支持克隆的引擎再用REF_FILE参考音频16kHz 单声道和REF_TEXT指定音色来源也可以按会话通过接口参数下发不用重启服务。如果你想让它自己会说话/human的chat模式会接入 LLM默认 dashscope 的 qwen-plus也可换 orcarouter 网关数字人听完你的问题、组织答案、开口回答还支持interrupt参数中途打断重说。不说话时的空档还能用--customvideo_config传入动作编排 JSON让它播自定义视频——24 小时无人直播就是这个组合搭出来的。注意用本项目生成的视频发布到 B 站、抖音等平台官方要求带上 LiveTalking 水印和标识商用前记得确认。三条路分别对应批量内容生产个性化音色实时智能体选哪条取决于你的业务形态。️ 按症状调参关键参数怎么拧参数不用背按症状对号入座你遇到的症状调哪个参数怎么调显存吃紧、推理卡顿--batch_size默认 16往下减先减半多路并发顶不住--max_session默认 5确认 GPU/CPU 富余后再加想要更高画质--model换 musetalk需 3080Ti 级显卡声音不对味--ttsREF_FILE换引擎或换参考音频帧率--fps固定 25别动小技巧判断是否真的实时看后端日志两个指标——inferfpsGPU 推理帧率和finalfps最终推流帧率两者都要 ≥25 才算达标finalfps掉而inferfps正常多半是 CPU 压缩瓶颈。所有参数都有 CLI / config.yaml / 代码默认值三层优先级CLI 最大完整定义在 config.py想批量改配置建议直接编辑 config.yaml一行一个开关改完重启即生效。 高频报错自诊表assets/faq.md 里沉淀了社区踩过的坑按出现频率排了序症状可能原因解法pytorch3d 安装失败无对应预编译包下源码python setup.py installprotobuf 相关报错版本过高回退到protobuf3.20.1RTMP 推流失败ffmpeg 缺 libx264换带 libx264 的 ffmpeg社区验证 4.2.2数字人不眨眼缺眨眼特征用 OpenFace 提取 AU45 生成 au.csv自训模型维度不匹配音频特征提取方式不对训练时用 wav2vec 提取特征端口通但连不上防火墙没放 UDP放行 UDP:1~65536排错顺序建议先看日志里的 CUDA 版本再看端口最后才是参数。八成问题在前两步就能定位。️ 进阶地图源码结构与扩展点想改而不是用按这张目录图走metahuman-stream/ ├── app.py # 服务入口装配配置、模型与 HTTP/WebRTC 路由 ├── config.yaml # 中枢配置模型、TTS、LLM、推流、并发数 ├── registry.py # 插件注册表stt/llm/tts/avatar/output 五类 ├── avatars/ # 数字人模型wav2lip/musetalk/ultralight ├── tts/ # 语音合成插件edge/doubao/sovits/tencent 等 ├── streamout/ # 推流输出webrtc/rtmp/virtualcam ├── server/ # 路由、会话管理与 WebRTC 连接管理 ├── llm.py # LLM 对话引擎封装 ├── web/ # 浏览器端页面index/avatar/admin └── models/ # 模型权重存放目录扩展的钥匙是 registry.py 的装饰器机制新写一个 TTS 引擎继承基类、贴上register(tts, 名字)就能被--tts参数直接调用Avatar 和推流模块同理。想接新接口读 docs/avatar_api.md形象生成任务和 docs/admin_api.md会话监控、强制停止两份文档即可。 下一步行动清单新手路线今天就能完成按四步点亮跑通默认 wav2lip 形象的第一次对话打开/avatar.html上传一段自己的视频生成专属数字人形象用/human接口发三条不同风格的文本建立效果基线。进阶路线本周可以开工换 musetalk 模型对比口型质量记录 3060/3080Ti 上的实际帧率接一套声音克隆 TTS配REF_FILE做出自己的音色用--customvideo_config编排一套说话待机视频循环搭 24 小时直播流基于 registry 装饰器写一个自己的 TTS 或推流插件。数字人的门槛从来不在模型而在把链路跑通的那一下——现在就去把第一步的git clone敲下去五分钟后你就能跟屏幕里的人说上话。【免费下载链接】metahuman-streamReal time interactive streaming digital human项目地址: https://gitcode.com/GitHub_Trending/me/metahuman-stream创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
四步点亮实时交互AI数字人：LiveTalking 上手指南（免费开源）
四步点亮实时交互AI数字人LiveTalking 上手指南免费开源【免费下载链接】metahuman-streamReal time interactive streaming digital human项目地址: https://gitcode.com/GitHub_Trending/me/metahuman-stream如果你正在做一个能实时应答的数字人客服、虚拟主播是不是总卡在同一个问题上数字人说话像放录音嘴型、音色、延迟都对不上LiveTalkingReal time interactive streaming digital human实时交互流式数字人引擎就是干这个的它把文本/语音输入、LLM 对话、TTS 合成、口型渲染串成一条实时管线再把画面推到浏览器、直播间或虚拟摄像头里——数字人边说边听还能被随时打断。项目基于 Apache 2.0 协议开源。读完这篇文章你会完成三件事把环境装好并让默认数字人开口说第一句话、按场景选对推流通道、拿到一份哪里出问题查哪里的调参与排错地图。 动手前硬件与环境自查LiveTalking 的推理链路是GPU 算口型 CPU 压视频所以硬件不是越贵越好而是要卡住下限。官方在 Ubuntu 22.04、Python 3.12、PyTorch 2.9.1、CUDA 12.8 上验证通过各档显卡的实际表现可以直接参考项目参考值备注操作系统Linux / Win / MacGPU 环境优先 LinuxPython3.123.10conda 隔离环境PyTorch / CUDA2.9.1 / CUDA 12.8先nvidia-smi确认 CUDA显卡wav2lipRTX 3060 及以上实测 3060 跑 60 FPS显卡musetalkRTX 3080Ti 及以上3080Ti 实测 42 FPS注意WebRTC 模式的服务端需要开放 TCP:8010 与 UDP:1~65536 端口防火墙不放开浏览器端连接会一直转圈。环境自查清单对照过一遍再动手nvidia-smi能正常输出记下 CUDA 版本号conda 可用能创建 3.10 的新环境服务器防火墙/安全组已放行 8010 与 UDP 端口段models/和data/avatars/两个目录有写权限清单全勾下面的四步就能一路走完。⚡ 四步点亮数字人从克隆到第一次对话第一步拉仓库、建环境git clone https://gitcode.com/GitHub_Trending/me/metahuman-stream cd metahuman-stream conda create -n livetalking python3.12 conda activate livetalking pip install torch2.9.1 torchvision0.24.1 torchaudio2.9.1 --index-url https://download.pytorch.org/whl/cu128 pip install -r requirements.txt # 按上面版本装完 torch 再装其余依赖第二步放模型文件从 README 里给的网盘下载两个文件夸克云盘或 Google Drive 任选摆到指定位置mv wav2lip256.pth models/wav2lip.pth # 模型权重放进 models/ 并改名 tar -xf wav2lip256_avatar1.tar.gz # 解压数字人素材 cp -r wav2lip256_avatar1 data/avatars/ # 整个文件夹放进 data/avatars/避坑wav2lip256.pth必须改名为wav2lip.pth素材文件夹名必须保持wav2lip256_avatar1与启动参数--avatar_id完全一致差一个字符都会加载失败。第三步启动服务python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1看到日志打印start http server; http://serverip:8010服务就起来了。第四步浏览器说第一句话打开http://服务器IP:8010/index.html点开始连接在文本框输入一句话提交——数字人开口回应的那一刻整条链路就通了。背后发生了什么用一张图说清四步走完你手里已经有一个能实时对话的数字人服务。接下来解决画面推到哪里去。 三种推流通道按场景选一个LiveTalking 把输出层做成了插件切换通道只需要改一个启动参数。config.yaml 里的transport字段支持四种取值通道启动参数适用场景WebRTC--transport webrtc浏览器低延迟对话首选RTMP--transport rtmp --push_url 推流地址推 B 站/YouTube 直播间虚拟摄像头--transport virtualcam塞进 Zoom/腾讯会议RTC 推流--transport rtcpush --push_url 地址对接 SRS 等 RTC 服务虚拟摄像头模式最特别服务在后台渲染画面直接写进系统摄像头设备任何会议软件把它当真摄像头用就行。配合 docs/virtualcam_guide.md 里的 OBS 配置说明几分钟后你的数字人就能坐在腾讯会议里发言。选通道的口诀要交互选 WebRTC要观众多选 RTMP要混进会议选虚拟摄像头。 让它换声、对话、登台三个真实用法如果你想批量生产数字人视频不用碰界面直接打 HTTP 接口。POST /human发文本type: echo直接复读、type: chat走 LLMPOST /humanaudio传音频文件/record控制录制接口清单见 docs/api.md。curl -X POST http://127.0.0.1:8010/human \ -H Content-Type: application/json \ -d {sessionid:会话ID,text:你好我是数字人,type:echo}如果你想给它换个声音TTS 是模块化插件tts/ 下内置了 edge、doubao、sovits、tencent、azure 等引擎。想克隆某个人的音色在 config.yaml 里把tts换成支持克隆的引擎再用REF_FILE参考音频16kHz 单声道和REF_TEXT指定音色来源也可以按会话通过接口参数下发不用重启服务。如果你想让它自己会说话/human的chat模式会接入 LLM默认 dashscope 的 qwen-plus也可换 orcarouter 网关数字人听完你的问题、组织答案、开口回答还支持interrupt参数中途打断重说。不说话时的空档还能用--customvideo_config传入动作编排 JSON让它播自定义视频——24 小时无人直播就是这个组合搭出来的。注意用本项目生成的视频发布到 B 站、抖音等平台官方要求带上 LiveTalking 水印和标识商用前记得确认。三条路分别对应批量内容生产个性化音色实时智能体选哪条取决于你的业务形态。️ 按症状调参关键参数怎么拧参数不用背按症状对号入座你遇到的症状调哪个参数怎么调显存吃紧、推理卡顿--batch_size默认 16往下减先减半多路并发顶不住--max_session默认 5确认 GPU/CPU 富余后再加想要更高画质--model换 musetalk需 3080Ti 级显卡声音不对味--ttsREF_FILE换引擎或换参考音频帧率--fps固定 25别动小技巧判断是否真的实时看后端日志两个指标——inferfpsGPU 推理帧率和finalfps最终推流帧率两者都要 ≥25 才算达标finalfps掉而inferfps正常多半是 CPU 压缩瓶颈。所有参数都有 CLI / config.yaml / 代码默认值三层优先级CLI 最大完整定义在 config.py想批量改配置建议直接编辑 config.yaml一行一个开关改完重启即生效。 高频报错自诊表assets/faq.md 里沉淀了社区踩过的坑按出现频率排了序症状可能原因解法pytorch3d 安装失败无对应预编译包下源码python setup.py installprotobuf 相关报错版本过高回退到protobuf3.20.1RTMP 推流失败ffmpeg 缺 libx264换带 libx264 的 ffmpeg社区验证 4.2.2数字人不眨眼缺眨眼特征用 OpenFace 提取 AU45 生成 au.csv自训模型维度不匹配音频特征提取方式不对训练时用 wav2vec 提取特征端口通但连不上防火墙没放 UDP放行 UDP:1~65536排错顺序建议先看日志里的 CUDA 版本再看端口最后才是参数。八成问题在前两步就能定位。️ 进阶地图源码结构与扩展点想改而不是用按这张目录图走metahuman-stream/ ├── app.py # 服务入口装配配置、模型与 HTTP/WebRTC 路由 ├── config.yaml # 中枢配置模型、TTS、LLM、推流、并发数 ├── registry.py # 插件注册表stt/llm/tts/avatar/output 五类 ├── avatars/ # 数字人模型wav2lip/musetalk/ultralight ├── tts/ # 语音合成插件edge/doubao/sovits/tencent 等 ├── streamout/ # 推流输出webrtc/rtmp/virtualcam ├── server/ # 路由、会话管理与 WebRTC 连接管理 ├── llm.py # LLM 对话引擎封装 ├── web/ # 浏览器端页面index/avatar/admin └── models/ # 模型权重存放目录扩展的钥匙是 registry.py 的装饰器机制新写一个 TTS 引擎继承基类、贴上register(tts, 名字)就能被--tts参数直接调用Avatar 和推流模块同理。想接新接口读 docs/avatar_api.md形象生成任务和 docs/admin_api.md会话监控、强制停止两份文档即可。 下一步行动清单新手路线今天就能完成按四步点亮跑通默认 wav2lip 形象的第一次对话打开/avatar.html上传一段自己的视频生成专属数字人形象用/human接口发三条不同风格的文本建立效果基线。进阶路线本周可以开工换 musetalk 模型对比口型质量记录 3060/3080Ti 上的实际帧率接一套声音克隆 TTS配REF_FILE做出自己的音色用--customvideo_config编排一套说话待机视频循环搭 24 小时直播流基于 registry 装饰器写一个自己的 TTS 或推流插件。数字人的门槛从来不在模型而在把链路跑通的那一下——现在就去把第一步的git clone敲下去五分钟后你就能跟屏幕里的人说上话。【免费下载链接】metahuman-streamReal time interactive streaming digital human项目地址: https://gitcode.com/GitHub_Trending/me/metahuman-stream创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考