2025年分布式推理网络技术白皮书
创始人
2025-05-05 20:00:22
0

《分布式推理网络(DIN)技术白皮书(2025年)》由中国移动通信有限公司研究院发布,全面剖析了AI大模型时代的业务趋势与挑战。报告指出,以DeepSeek-R1为代表的高性能低成本大模型正驱动AI普惠化,用户从传统内容访问转向AI模型调用,AI Agent通信流量显著增长。然而,端云多模态交互和Agent间东西向流量激增对网络时延提出更高要求,同时暴露出AI推理基础设施能力不足、推理网络架构待完善、服务网络安全防护能力薄弱等核心瓶颈。

报告系统介绍了DIN的分布式架构及其适应多样化推理服务范式的技术体系。DIN通过端、边、网、算协同实现高安全、高并发的网络连接,满足ToB场景下算网一体安全推理、边云协同后训练、模型分层协同需求,同时支持ToC/ToH场景中的大小模型协同推理、训推协同进化、PD分离部署等创新模式。其设计目标包括构建可扩展架构以提供低时延推理服务,通过确定性连接保障数据传输性能,并构建多层次安全防护体系保护数据隐私。

报告总结了DIN关键技术突破,包括微流级流控、细粒度切片等节点间互联质量保障技术,集中式与分布式相结合的推理服务调度方案,以及基于PHYSec技术、拒绝服务防护和轻量化APT监测的模型推理安全体系。展望未来,中国移动将联合产业界完善DIN技术与标准体系,通过融合端边云协同优势应对AI普惠化的时延、安全和成本挑战,推动智能社会建设,助力AI推理服务实现安全、高效、普惠的全面升级。

相关内容

热门资讯

视频丨超935亿元涌入 具身智... 每小时1200件,准确率95%,24小时不停歇……曾经在展会上跳舞翻跟头的“显眼包”,如今已成为广州...
原创 A... AI芯片催生7N超高纯铜需求,产能缺口超25%,国产替代提速 1、超高纯铜行业简介 超高纯铜指纯度达...
谷歌Pixel发布会亮点盘点:... 谷歌近日举办了年度"Made by Google"硬件发布会,发布了一系列新品,包括Pixel 9a...
打通AI落地链路!广州白云举办... 8月13日,在广州白云区政务服务和数据管理局、广州民营科技园管委会指导下,广州白云产业投资集团有限公...
康美韶关智慧药房(中药代煎代配... 8月11日,康美(韶关)智慧药房(中药代煎代配中心)正式开业。该药房是国内首创的一站式药事服务平台,...
返家乡 | 共青团宁江区委开展... 为深化“返家乡”社会实践活动成效,引导返乡大学生厚植乡土情怀、传承奉献精神,8月11日,共青团宁江区...
科技加持,法典制度优势化为治理... (来源:千龙网) 卫星遥感、水质荧光指纹溯源等技术,让隐蔽排污无所遁形;AI自动识别污染源,为环境风...
持续深耕AI技术创新,博彦科技... 来源:博彦科技官微 近期,博彦科技知识产权矩阵再添一项核心技术成果——博问AI智能体平台V1.0软件...
机器人4S店不只是门好生意 机器人产业发展,不能只靠实验室里的技术突破,更不能离开消费端的市场土壤。在新业态新机遇面前,不仅要算...
中国电信再度问鼎“光华杯” 千... (记者 林碧涓)第四届“光华杯”千兆光网应用创新大赛全国总决赛日前在重庆圆满落幕,中国电信从众多入围...