IT之家9月25日消息,英伟达昨日(9月24日)发布博文,宣布开源生成式AI面部动画模型Audio2Face,涵盖模型、软件开发工具包(SDK)及完整训练框架,希望能在游戏和3D应用中,加速开发AI智能虚拟角色。
该技术通过分析音频中的音素、语调等声学特征,实时驱动虚拟角色面部动作,生成精准的口型同步和自然的情感表情,可广泛应用于游戏、影视制作和客户服务等领域。
Audio2Face支持两种运行模式:预录制音频的离线渲染和动态AI角色的实时流式处理。IT之家援引博文介绍,英伟达此次开源了多个核心组件:
该技术已获行业广泛采用。游戏开发商Survios在《异形:侠盗入侵进化版》(Alien:RogueIncursionEvolvedEdition)中集成Audio2Face,大幅简化了口型同步与面部捕捉流程。
Farm51工作室也将其用于《切尔诺贝利人2:禁区》(Chernobylite2:ExclusionZone),通过音频直接生成细腻面部动画,节省大量制作时间,提升角色真实感和沉浸体验。创新总监WojciechPazdur称此为“革命性突破”。