一句话,让黑神话钟馗开口说话!体验百度蒸汽机2.0的音画同步,口型还能对得上吗?
创始人
2025-08-22 13:40:56
0

智东西AI前瞻(公众号:zhidxcomAI)

作者 | 江宇

编辑 | 漠影

智东西8月21日报道,今日,百度正式发布百度蒸汽机2.0大模型,是全球首个支持中文音视频一体化生成的大模型。在原有图生视频能力基础上,本次新增“有声版”,具备支持环境音效、人声对白及嘴型同步能力,支持画面与声音的同步生成。

蒸汽机2.0具备“形神音容”一体化生成能力,将原本需要分别完成的三个步骤——视频画面、配音效与对白同步,整合为一次生成完成,也被形容为“三步并一步”。

价格方面,蒸汽机Turbo有声版定价为1.4元/5秒,据百度蒸汽机透露,这一价格大约是行业平均成本的七成

一、从“静音图像”到“全声动态”,蒸汽机强化镜头语言与声音整合

相比传统视频生成流程需逐步完成图像、音效、对白等环节,百度此次发布的蒸汽机“有声版”模型尝试将这些过程整合至单一模型内完成。

该模型还引入了更复杂的镜头语言,包括“绕镜”等动态运镜方式,同时配合大规模提示词理解能力的升级,使得用户即便输入较为简短的自然语言,也能生成画面流畅、镜头调度自然的视频内容。

同时,在声音方面,蒸汽机模型不仅同步生成环境声与人声,还尝试做到人物动作与唇形的匹配

该模型支持“多人对话、嘴型对齐、角色情绪同步”等多模态生成任务,背后由“多模态潜在空间规划”机制支持,能在建模阶段统一安排角色身份、语气、对话内容与视觉呈现,使得成片更具整体感与叙事一致性。

此外,百度也强调了中文场景的适配能力,包括中文发音结构的唇形匹配、语境识别与本地化音色模拟,在中文语境下具备更高拟真度。

二、体验:画面风格不同,声音能力初步开放

智东西上手体验了百度蒸汽机2.0视频模型的四个版本,分别对应不同的生成能力侧重。

1、蒸汽机2.0 Turbo(标准基础款):冲浪者与巨浪共舞

这段效果很好,阳光透过海浪的光感很自然,画面层次感强。冲浪者的动作也很顺畅,整体看不太出是AI生成的,挺接近实拍的质感。

2、蒸汽机2.0 Pro(精准响应,画质清晰):海底世界的美丽鱼群

鱼群游动的画面非常逼真,鱼鳃这些细节都保留得不错,海底的珊瑚也非常统一,视觉上挺舒服的。就是偶尔几帧里,鱼尾有点失真。

3、蒸汽机2.0 Lite(创意简单表达,极速生成):雨夜霓虹,城市漫步

前景的行人走路还算自然,但背景里有些人动作有点僵硬,甚至还有“瞬间消失”的Bug。不过雨夜氛围保留得不错,水塘里的雨滴、霓虹倒影这些细节挺到位的,整体画面观感还行。

4、蒸汽机2.0 有声版(支持音效生成):钟馗出场

本次体验首帧图选用了游戏科学最新发布的《黑神话·钟馗》预告片中的一幕。智东西尝试了三个不同提示词的生成结果,人物形象没问题,老虎的形象也挺还原,背景音效基本跟提示词能对上。

比较有意思的是,起初的两次尝试,“怒吼”这个关键词在两段视频中被模型理解成了不同的主体:一段是钟馗怒吼,一段则是老虎发声。而提示词中提到的“倒吸凉气”声效未响应,不过背景音的氛围感呈现尚可。

在第三次调整提示词后,钟馗的台词得到了较准确的还原,音色、语气与人物形象较为契合,嘴型同步效果也很清晰,声音生成与画面衔接更为自然。

提示词1:需背景音。主体(虎背上的钟馗)低头静止,缓慢抬头,抬头瞬间,背后有两三人传出倒吸凉气的害怕声。同时,坐骑老虎有一声怒吼。场景为山林、低雾、阴雨天气,整体氛围压抑、肃杀。

提示词2:需背景音。主体低头静止,缓慢抬头,抬头瞬间,背后有两三人传出倒吸凉气的害怕声。同时,坐骑老虎有一声怒吼。场景为山林、低雾、阴雨天气,整体氛围压抑、肃杀。

提示词3:需背景音。主体为骑在虎背上的钟馗,初始低头静止,随后缓慢抬头。在抬头至目视前方的瞬间,钟馗开口喊道:“罚恶司——钟馗!”声音洪亮、有气势。阴雨天气,氛围压抑肃杀。

结语:一体化生成已站稳,表现仍需持续打磨

百度此次将“画面、音效、对白”打包生成,仍具一定标志性。相比早期“静音片段+后期配音”的做法,如今一体化生成的路径的确更省力也更直观。

但从当前体验来看,声音生成的准确性与口型协调仍存在一定差距,尤其在多角色对话、强调动作与台词同步的场景下,模型的时序控制还未完全成熟。不过,整体上百度蒸汽机在“形神音容”一体化生成方向上,迈出了可见的一步。

相关内容

热门资讯

李开复对话苏姿丰:2026年,... 来源:中国经营报 中经记者 秦枭 上海报道 2026年5月19日,AMD AI开发者日2026在上海...
美聚商盟取得移动电子商务交易终... 国家知识产权局信息显示,广州市美聚商盟数码科技股份有限公司取得一项名为“一种移动电子商务交易终端”的...
阿里巴巴发布新款AI芯片 可同... 来源:商业周刊 阿里巴巴发布可同时承担训练和推理任务的新款人工智能(AI)芯片,进一步增强人工智能各...
中国联通唐雄燕:面向Token... 在2026年世界电信和信息社会日大会的技术研讨会上,中国联通研究院副院长、首席科学家唐雄燕发表了题为...
中信科移动蔡月民:AI赋能,加... 在通信技术迭代的关键窗口期,5G-A规模商用、6G研发冲刺,生态协同代际贯通已成产业共识。 在世界电...
如何鼓励AI创新同时防范伦理安... 5月19日,2026年中国网络文明大会人工智能赋能网络文明建设论坛在广西南宁举行。 会上,全国网络安...
透视分享!wejoker内置辅... 透视分享!wejoker内置辅助,wepoker透视挂底牌-都是真的是有辅助脚本(哔哩哔哩)在进入e...
透视详细!德普软件,德扑圈有透... 透视详细!德普软件,德扑圈有透视吗-确实存在有辅助脚本(哔哩哔哩)一、可以开透视的定义与意义1、是不...
透视了解!wpk是真的还是假的... 透视了解!wpk是真的还是假的,wpk辅助器-果然一直都是有辅助app(哔哩哔哩)1、让任何用户在无...
透视辅助!德普之星私人局辅助器... 透视辅助!德普之星私人局辅助器,德普之星辅助器app-果然一直都是有辅助方法(哔哩哔哩)1、游戏颠覆...