活动速递 | 华为“网络+”破局模型:开启大模型推理加速的下一站
创始人
2025-10-26 14:20:36
0

[中国,哈尔滨,2025年10月23日] 第22届中国计算机大会(CNCC2025)在“冰城”哈尔滨盛大启幕,主题为“数智赋能,无限可能”。华为数据通信产品线研究部部长郑晓龙在大会上发表题为《大模型推理加速与演进:网络如何破局?》的演讲,首次提出“网络+”破局模型,为十万卡智算集群面临的通信瓶颈提供了创新方案。他指出,在单卡算力提升日益趋缓的背景下,唯有通过网络、计算与存储的跨层协同,才能将集群效率推向全新量级。

华为数通研究部部长 郑晓龙发表主题演讲

为支持十万卡智算集群的规模化部署与高效运行,华为提出“网络+”破局模型,旨在系统化解决超大规模集群中的通信瓶颈问题。该主题演讲涵盖架构设计、协议优化与调度策略等多个层面,为构建下一代智算基础设施提供完整技术路径。

网络级负载均衡,应对大EP部署带来的动态通信模式挑战,性能提升20%+。

DeepSeek的出现,将大模型架构引向了更稀疏的大EP部署。随之而来的是通信模式及通信关系的变化。面对通信的随机性和非对称性,华为提出的网络级负载均衡,将通信性能提升20%+,显著降低P99完成时间。

从Chat LLM进入Agentic AI,“超节点”助力实现极致的TPOT需求

大模型应用从聊天式的Chat LLM向Agentic AI演进,对于token生成速度的要求从50ms提升到了10ms以下。这在当前的部署实践中,存在多个挑战:推理阶段以小消息通信为主,控制面时延占比高;单纯卸载控制面,则会消耗计算资源SM。华为推出了CloudMatrix384超节点及对应的超节点网络,为满足极致的TPOT需求提供了可能。

多模态LMM流量混战,网络调度“四两拨千斤”,提升推理性能

“网络+”不是简单的带宽升级,而是让网络成为AI集群的‘第七代算力’。”郑晓龙最后呼吁,华为愿与业界共建标准,与合作伙伴及行业组织一起,共同定义大模型时代的下一代智算网络接口。

相关内容

热门资讯

亿吉埃取得浸漫式干湿联合冷却装... 国家知识产权局信息显示,亿吉埃冷却系统贸易(北京)有限公司取得一项名为“一种浸漫式干湿联合冷却装置”...
领航机电取得电子点火油电混合型... 国家知识产权局信息显示,浙江领航机电有限公司取得一项名为“一种电子点火油电混合型链锯”的专利,授权公...
太原理工大学自研四足机器人通过... 近日,太原理工大学副教授张金柱团队自主研制的“TL-Q1”四足机器人,顺利通过全山地、水路、泥泞、台...
DELTA德尔塔仪器解读无人机... 一、无人机产业升级下的抗风测试痛点 随着民用轻小型旋翼类无人机在物流、巡检、测绘等领域应用不断...
“豫”见“商”机·星河AI网络... 9月3日,以“无智联不AI,无安全不智联”为主题的“豫”见“商”机·星河AI网络河南创新峰会在郑州成...
能晖新材料申请单壁碳纳米管纯化... 国家知识产权局信息显示,湖南能晖新材料有限责任公司申请一项名为“一种电弧法制备的单壁碳纳米管的纯化方...
新设计多孔电极提升液流电池性能 加拿大滑铁卢大学科学家从自然结构中汲取灵感,重新设计了氧化还原液流电池的关键部件——多孔电极。新电极...
郑海荣院士:脑机接口“源于医疗... (来源:澎湃新闻) 随着人工智能加速演进,以海量算力与大规模参数堆叠为特征的硅基智能正逼近物理极限与...
人人影视“复活”,称片源为正版... 红星资本局9月4日消息 近日,有网友晒出“人人影视”向老用户发出的“欢迎老用户回归”邮件,邮件中称“...
1.2万米!效率提高3倍!大船... 日前,中船大连造船大船天津分段协作机器人项目实现从研发试点到规模化落地应用的关键跨越。自年初该项目启...