蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

上海海派旗袍月启幕:艺术展演、... 东方网记者项颖知6月7日报道:在上海市妇女联合会、上海市文化和旅游局指导下,由上海市非物质文化遗产保...
鹊华长望少年远行,济外2026... 6月5日,六月盛夏,济南外国语学校“鹊华长望,少年远行”2026届高三毕业典礼举行。全体高三师生齐聚...
618购物节,买华为哪几款手机... 每年一到618,后台问得最多的就是这句话: "华为手机型号太多了,Mate、Pura、nova、畅享...
原创 6... 前不久华为又搞得全网沸腾了,至于原因大家也都知道,那就是华为不仅再次创造了全新的半导体新规则"韬(τ...
新能源农机装备创新推动联合体正... 来源:市场资讯 (来源:当代农机) 近日,在新能源农机装备中试验证技术分析会上,农业农村部农业机械化...
算力普惠再提速 全球首个“预制... 昨天(6日),全球首个预制算力中心底座在山东青岛正式启用。相较于传统算力中心节约施工周期近70%,为...
原创 强... 大家这几天刷新闻,肯定都被一条极其炸裂的天文消息刷屏了,后台也有不少朋友私信问我,咱们天上的航天员到...
原创 2... 一、iPhone 17 Pro系列核心升级亮点 作为苹果2026年的旗舰机型,iPhone 17 ...
AI服务器机箱厂家梳理 深度定... 导语:在数字化转型加速的背景下,AI服务器机箱作为承载高密度计算的核心硬件,其性能稳定性与定制化能力...
教你用AI一节课收17万,华尔... 克雷西 发自 凹非寺 量子位 | 公众号 QbitAI 两个三十岁出头的年轻人,正在靠AI向华尔街收...