活动速递 | 华为“网络+”破局模型:开启大模型推理加速的下一站
创始人
2025-10-26 14:20:36
0

[中国,哈尔滨,2025年10月23日] 第22届中国计算机大会(CNCC2025)在“冰城”哈尔滨盛大启幕,主题为“数智赋能,无限可能”。华为数据通信产品线研究部部长郑晓龙在大会上发表题为《大模型推理加速与演进:网络如何破局?》的演讲,首次提出“网络+”破局模型,为十万卡智算集群面临的通信瓶颈提供了创新方案。他指出,在单卡算力提升日益趋缓的背景下,唯有通过网络、计算与存储的跨层协同,才能将集群效率推向全新量级。

华为数通研究部部长 郑晓龙发表主题演讲

为支持十万卡智算集群的规模化部署与高效运行,华为提出“网络+”破局模型,旨在系统化解决超大规模集群中的通信瓶颈问题。该主题演讲涵盖架构设计、协议优化与调度策略等多个层面,为构建下一代智算基础设施提供完整技术路径。

网络级负载均衡,应对大EP部署带来的动态通信模式挑战,性能提升20%+。

DeepSeek的出现,将大模型架构引向了更稀疏的大EP部署。随之而来的是通信模式及通信关系的变化。面对通信的随机性和非对称性,华为提出的网络级负载均衡,将通信性能提升20%+,显著降低P99完成时间。

从Chat LLM进入Agentic AI,“超节点”助力实现极致的TPOT需求

大模型应用从聊天式的Chat LLM向Agentic AI演进,对于token生成速度的要求从50ms提升到了10ms以下。这在当前的部署实践中,存在多个挑战:推理阶段以小消息通信为主,控制面时延占比高;单纯卸载控制面,则会消耗计算资源SM。华为推出了CloudMatrix384超节点及对应的超节点网络,为满足极致的TPOT需求提供了可能。

多模态LMM流量混战,网络调度“四两拨千斤”,提升推理性能

“网络+”不是简单的带宽升级,而是让网络成为AI集群的‘第七代算力’。”郑晓龙最后呼吁,华为愿与业界共建标准,与合作伙伴及行业组织一起,共同定义大模型时代的下一代智算网络接口。

相关内容

热门资讯

加价两三倍抢料!MLCC暴露了... 有客户为了拿到货,愿意出2倍、3倍的价格。货主还没松口,价高者得的风声已经传遍了整个产业链。 这不是...
氧化铝明明是绝缘体,为什么加进... 材料学中,氧化物通常意味着夹杂、脆化和导电率下降。Al₂O₃更是一种典型绝缘陶瓷:电阻率高、塑性低,...
超越SpaceX!Anthro... 8月13日,据多位投资方人士消息,全球头部人工智能企业Anthropic最快将于今年10月正式上市,...
荣耀发布全球首款机器人手机Ro... 人民网记者 王星 荣耀发布全球首款机器人手机。受访单位供图 8月12日,荣耀在广州举办新品发布会,...
企业级大模型语音智能体怎么选?... 导读:数字化转型持续推进之下,越来越多企业开始布局企业级大模型语音智能体,用于客户回访、呼入接待、线...
卡脖子的五轴车铣复合机床,国产... 说起被称为 “工业母机” 的数控机床,五轴车铣复合机床堪称这一领域的高端代表品类。从精密医疗器械植入...
长鑫科技赶超腾讯,成为中国市值... IT之家 8 月 13 日,长鑫科技目前市值达 3.54 万亿元人民币,超越腾讯的 4.01 万亿港...
别再每个品类换一个平台:买二手... 买二手推荐哪个平台?结论放在最前面:如果预算有限又想省心,首选爱回收旗下的严选平台——它把手机、电脑...
深夜上新,DeepSeek V... (图源:图虫) 8月12日晚,DeepSeek悄悄在官网更新。 最新的模型与价格页面显示,Deeps...
企业如何智能化转型?“5A框架... 人民网廊坊8月12日电 (记者李君强、张腾扬)2026数智经济论坛8月12日在河北廊坊市举行。论坛上...