活动速递 | 华为“网络+”破局模型:开启大模型推理加速的下一站
创始人
2025-10-26 14:20:36
0

[中国,哈尔滨,2025年10月23日] 第22届中国计算机大会(CNCC2025)在“冰城”哈尔滨盛大启幕,主题为“数智赋能,无限可能”。华为数据通信产品线研究部部长郑晓龙在大会上发表题为《大模型推理加速与演进:网络如何破局?》的演讲,首次提出“网络+”破局模型,为十万卡智算集群面临的通信瓶颈提供了创新方案。他指出,在单卡算力提升日益趋缓的背景下,唯有通过网络、计算与存储的跨层协同,才能将集群效率推向全新量级。

华为数通研究部部长 郑晓龙发表主题演讲

为支持十万卡智算集群的规模化部署与高效运行,华为提出“网络+”破局模型,旨在系统化解决超大规模集群中的通信瓶颈问题。该主题演讲涵盖架构设计、协议优化与调度策略等多个层面,为构建下一代智算基础设施提供完整技术路径。

网络级负载均衡,应对大EP部署带来的动态通信模式挑战,性能提升20%+。

DeepSeek的出现,将大模型架构引向了更稀疏的大EP部署。随之而来的是通信模式及通信关系的变化。面对通信的随机性和非对称性,华为提出的网络级负载均衡,将通信性能提升20%+,显著降低P99完成时间。

从Chat LLM进入Agentic AI,“超节点”助力实现极致的TPOT需求

大模型应用从聊天式的Chat LLM向Agentic AI演进,对于token生成速度的要求从50ms提升到了10ms以下。这在当前的部署实践中,存在多个挑战:推理阶段以小消息通信为主,控制面时延占比高;单纯卸载控制面,则会消耗计算资源SM。华为推出了CloudMatrix384超节点及对应的超节点网络,为满足极致的TPOT需求提供了可能。

多模态LMM流量混战,网络调度“四两拨千斤”,提升推理性能

“网络+”不是简单的带宽升级,而是让网络成为AI集群的‘第七代算力’。”郑晓龙最后呼吁,华为愿与业界共建标准,与合作伙伴及行业组织一起,共同定义大模型时代的下一代智算网络接口。

相关内容

热门资讯

宁波沱沱河设计取得折叠支架专利... 国家知识产权局信息显示,宁波沱沱河设计有限公司取得一项名为“折叠支架”的专利,授权公告号CN2243...
孩子第一次换手机,求推荐! 之前一直都是用爸妈淘汰下来的手机,高考完终于可以换一台真正属于自己的新手机了! 问了很多同学朋友,主...
微信AI真正该抄的作业,在谷歌... 这两天微信AI的热度非常高,但大多数讨论都集中在它能做什么、怎么用。 大家都在猜测微信AI会长成什么...
微信会收费吗? 6月8日,微信官方发了篇《关于开发者接入微信AI生态的指引》,确认微信正在内测通过 AI 调用生态内...
浦东携手阅文!上海AI文创产业... 上海人工智能文创产业发展再添新平台。今天,由浦东新区与阅文集团合作共建的人工智能文创产业基地在金桥正...
杰克科技申请缝纫机起缝防脱线结... 国家知识产权局信息显示,杰克科技股份有限公司申请一项名为“一种缝纫机的起缝防脱线结构、以及缝纫机”的...
告别旧机迎接大学,学生党高性价... 高考铃声落下,崭新的大学生活即将启程。一台好用耐用、性价比拉满的新机,既是高中奋斗的犒赏,也是未来四...
离心泵选购指南:上海羽泉如何破... 在流体控制设备领域,离心泵作为重要部件,其可靠性直接影响着整个系统的运行效率。随着工业场景对设备性能...
市级重点项目力能机械新产线投产 10日,市级重点建设项目力能机械的半导体零部件生产线全面投产。 2015年,力能机械在北京成立,专门...
Meta裁员8000人,开发与... 据《商业内幕》,Meta上月裁撤约8000个岗位,其中加州与华盛顿州共4665名受影响员工的岗位名称...