一句话,让黑神话钟馗开口说话!体验百度蒸汽机2.0的音画同步,口型还能对得上吗?
创始人
2025-08-22 13:40:56
0

智东西AI前瞻(公众号:zhidxcomAI)

作者 | 江宇

编辑 | 漠影

智东西8月21日报道,今日,百度正式发布百度蒸汽机2.0大模型,是全球首个支持中文音视频一体化生成的大模型。在原有图生视频能力基础上,本次新增“有声版”,具备支持环境音效、人声对白及嘴型同步能力,支持画面与声音的同步生成。

蒸汽机2.0具备“形神音容”一体化生成能力,将原本需要分别完成的三个步骤——视频画面、配音效与对白同步,整合为一次生成完成,也被形容为“三步并一步”。

价格方面,蒸汽机Turbo有声版定价为1.4元/5秒,据百度蒸汽机透露,这一价格大约是行业平均成本的七成

一、从“静音图像”到“全声动态”,蒸汽机强化镜头语言与声音整合

相比传统视频生成流程需逐步完成图像、音效、对白等环节,百度此次发布的蒸汽机“有声版”模型尝试将这些过程整合至单一模型内完成。

该模型还引入了更复杂的镜头语言,包括“绕镜”等动态运镜方式,同时配合大规模提示词理解能力的升级,使得用户即便输入较为简短的自然语言,也能生成画面流畅、镜头调度自然的视频内容。

同时,在声音方面,蒸汽机模型不仅同步生成环境声与人声,还尝试做到人物动作与唇形的匹配

该模型支持“多人对话、嘴型对齐、角色情绪同步”等多模态生成任务,背后由“多模态潜在空间规划”机制支持,能在建模阶段统一安排角色身份、语气、对话内容与视觉呈现,使得成片更具整体感与叙事一致性。

此外,百度也强调了中文场景的适配能力,包括中文发音结构的唇形匹配、语境识别与本地化音色模拟,在中文语境下具备更高拟真度。

二、体验:画面风格不同,声音能力初步开放

智东西上手体验了百度蒸汽机2.0视频模型的四个版本,分别对应不同的生成能力侧重。

1、蒸汽机2.0 Turbo(标准基础款):冲浪者与巨浪共舞

这段效果很好,阳光透过海浪的光感很自然,画面层次感强。冲浪者的动作也很顺畅,整体看不太出是AI生成的,挺接近实拍的质感。

2、蒸汽机2.0 Pro(精准响应,画质清晰):海底世界的美丽鱼群

鱼群游动的画面非常逼真,鱼鳃这些细节都保留得不错,海底的珊瑚也非常统一,视觉上挺舒服的。就是偶尔几帧里,鱼尾有点失真。

3、蒸汽机2.0 Lite(创意简单表达,极速生成):雨夜霓虹,城市漫步

前景的行人走路还算自然,但背景里有些人动作有点僵硬,甚至还有“瞬间消失”的Bug。不过雨夜氛围保留得不错,水塘里的雨滴、霓虹倒影这些细节挺到位的,整体画面观感还行。

4、蒸汽机2.0 有声版(支持音效生成):钟馗出场

本次体验首帧图选用了游戏科学最新发布的《黑神话·钟馗》预告片中的一幕。智东西尝试了三个不同提示词的生成结果,人物形象没问题,老虎的形象也挺还原,背景音效基本跟提示词能对上。

比较有意思的是,起初的两次尝试,“怒吼”这个关键词在两段视频中被模型理解成了不同的主体:一段是钟馗怒吼,一段则是老虎发声。而提示词中提到的“倒吸凉气”声效未响应,不过背景音的氛围感呈现尚可。

在第三次调整提示词后,钟馗的台词得到了较准确的还原,音色、语气与人物形象较为契合,嘴型同步效果也很清晰,声音生成与画面衔接更为自然。

提示词1:需背景音。主体(虎背上的钟馗)低头静止,缓慢抬头,抬头瞬间,背后有两三人传出倒吸凉气的害怕声。同时,坐骑老虎有一声怒吼。场景为山林、低雾、阴雨天气,整体氛围压抑、肃杀。

提示词2:需背景音。主体低头静止,缓慢抬头,抬头瞬间,背后有两三人传出倒吸凉气的害怕声。同时,坐骑老虎有一声怒吼。场景为山林、低雾、阴雨天气,整体氛围压抑、肃杀。

提示词3:需背景音。主体为骑在虎背上的钟馗,初始低头静止,随后缓慢抬头。在抬头至目视前方的瞬间,钟馗开口喊道:“罚恶司——钟馗!”声音洪亮、有气势。阴雨天气,氛围压抑肃杀。

结语:一体化生成已站稳,表现仍需持续打磨

百度此次将“画面、音效、对白”打包生成,仍具一定标志性。相比早期“静音片段+后期配音”的做法,如今一体化生成的路径的确更省力也更直观。

但从当前体验来看,声音生成的准确性与口型协调仍存在一定差距,尤其在多角色对话、强调动作与台词同步的场景下,模型的时序控制还未完全成熟。不过,整体上百度蒸汽机在“形神音容”一体化生成方向上,迈出了可见的一步。

相关内容

热门资讯

全球最贵互联网域名!AI.co... 快科技2月8日消息,日前,Crypto.com的联合创始人兼首席执行官Kris Marszalek以...
原创 深... 成人网站:社会质疑与性教育的双重角色 前言 随着互联网的飞速发展,各种各样的网站应运而生,其中不乏...
常州创明超电申请多孔碳用烘干装... 国家知识产权局信息显示,常州创明超电材料科技有限公司申请一项名为“一种多孔碳用烘干装置”的专利,公开...
他们以硬核创新解材料之困、开智... 在北京创新型产业集群示范区 这片科创沃土上 他们聚焦国家战略需求 躬身深耕、逐梦前行 通过日复一日的...
能当门岗放行车辆,还能当前台引... “福智”机器人在思明未来科技园进行测试。(本组图/本报记者 林铭鸿 摄) “福智”机器人将进入更多...
新年换机不纠结!nova 15... 2026年春节临近,年轻人纷纷计划走亲访友、好友聚会或外出旅行。这些场景下,一部可靠的手机不可或缺,...
人形机器人进工厂,有一个前提 人形机器人进工厂,有一个前提 去年春晚,一支机器人秧歌队惊艳全场。今年这场机器人盛宴还要升级。近日...
立足实际推进人工智能场景开放 (来源:内蒙古日报) 转自:内蒙古日报 □文/本报记者 张慧玲 图/本报记者 金泉 “政府工作报告...
华为申请视频传输方法及设备专利... 国家知识产权局信息显示,华为技术有限公司申请一项名为“一种视频传输方法及设备”的专利,公开号CN12...
未来科学城一批绿色能源成果集中... 日前,北京昌平未来科学城举办绿色能源成果推介及项目路演大会。会上聚焦氢能、光伏、先进能源、风电、新型...