让你的Muse活起来

今天我们发布Muse实时化身(Muse Realtime Avatar)，这是我们最前沿的具身技术，能把Muse实时语音变成富有表现力、可交互的虚拟化身。

以参考素材为条件，Muse实时化身能让任何角色进入实时对话：一张人物照片能通过细微表情回应，全身插画会在说话时做手势、变换姿势，动物和日常物品也能生动起来，同时不丢掉各自的特点。一帧接一帧，化身的外观和举止在整场对话中始终连贯。

不止是会说话的头像，Muse实时化身能让任何图片实时活起来，面部、手部和全身动作都富有表现力。

从智能到实时在场

Muse实时语音和Muse实时化身是一套流式系统，把智能、语音和具身连在一起。Muse实时语音提供对话智能，输出一串语音token(VQ)，既承载说什么，也承载怎么说。音频解码器把这些token变成语音，Muse实时化身则消费同一串token，生成对应的视觉表演。共用这串token，声音、口型和表情才能严丝合缝。

Muse实时化身是一个音频驱动的扩散Transformer(Diffusion Transformer)，条件是语音token流、参考素材和一小段最近的视频隐变量。它按短因果块生成视频，每个块完成后，最新生成的隐变量成为下一块的动作上下文，化身的外观和举止得以延续，计算量又有上界，对话多久就能生成多久。

Muse实时化身把流式语音VQ变成同步视频，用生成的上下文延续整场对话的连贯性。

实时无限视频生成

直播要同时解两道题：视频生成得够快，能实时互动；整场对话视觉上前后一致，不越跑越偏。

我们先训一个高质量双向教师模型，再通过自强制(self-forcing)和分布匹配蒸馏，得到一个带定长KV缓存的因果学生模型。自强制让学生在自己生成的上下文上训练，学会抵抗小误差随时间累积带来的漂移，训推条件对齐。

教师模型用40步扩散加三路无分类器引导(CFG)，每步要跑三次模型，一块要120次模型求值。我们精调的蒸馏配方把扩散过程和CFG的效果一起蒸进一个无引导的两步学生模型。两步无引导求值，复刻出教师120步引导求值渐进打磨的效果，60倍压缩，质量基本不掉。

蒸馏把每块的推理从120次神经函数求值降到2次，60倍压缩，人类偏好基本打平。

最强的化身体验

为了看Muse实时化身在真实对话里表现如何，我们用各家产品原生的实时通话体验，跟两家头部商用化身系统做了对比：Runway Characters和HeyGen LiveAvatar。评分员用相同的化身形象，跟每个系统聊两到三分钟，再从视觉质量、同步、角色一致性、举止等方面打分。下图是总体偏好，评分员更多选了Muse实时化身。

评分员总体和各维度都更偏好Muse实时化身；跟Runway比，举止一项在统计上打平。

亚秒延迟，Meta级服务

Muse实时化身随着对话实时生成化身视频。要在Meta的规模上交付这种体验，延迟和并发缺一不可。为此我们把Meta的实时AI推理栈推倒重做，还配了一套自研定制引擎，专为高优化的实时视频推理和服务而生。

带内存感知位置编码的持久KV缓存，让跨块的上下文复用更聪明；缓存感知路由加延迟感知动态批处理，把并发会话高效分发；4比特量化感知训练在更低推理成本下保住质量；融合算子和NVIDIA CUDA Graph捕获减少内存搬运和调度开销。我们还跟NVIDIA合作做了不少模型优化，把单次前向的成本压到最低。全系统连带底层设施端到端优化，保证体验丝滑。

Muse实时化身以25帧每秒输出448x768竖屏视频，从用户话音落到收到第一字节音画同步回复，延迟约870毫秒。单个会话在GB200上，每步生成8帧（对应320毫秒播放时长）只需20毫秒，折合每帧2.5毫秒模型时间。

上述优化加语音视频的智能编排，服务容量是两步BF16基线的8倍，单块GB200能同时跑12路实时视频生成会话。

跟Muse实时化身对话，交互延迟不到一秒。

负责任地构建具身AI

为降低滥用风险、保护当事人，我们在整个体验中执行严格的安全要求。所有生成内容可追溯：Muse实时化身用Meta Video Seal给生成的视频全程嵌入持久不可见水印，不增加实时延迟。具身AI往前走，这些防护也会继续加强。本文所有示例只为展示模型能力，不代表Muse应用内实际提供的化身。Muse仅限18岁以上用户使用。