蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

MWC上海2026·6G产业生... 6月24日至26日,2026上海世界移动通信大会(MWC)在上海新国际博览中心召开。本届MWC上海首...
苹果2026年6月起上调Mac... 2026-06-27 08:00:45 作者:狼叫兽 苹果于2026年6月27日宣布调整部分硬件产品...
第二十八届中国科协年会召开在即 7月1日至31日,110余场专题学术论坛将在北京集中举办,2026年度重大科技问题难题也将发布。6月...
6G呼之欲出 当前,我国5G-A技术已迈入规模化商用成熟期,全域万物互联的数字基础设施基本建成,人、机、物泛在连接...
河北百利通取得SMC片材双辊压... 国家知识产权局信息显示,河北百利通复合材料有限公司取得一项名为“一种SMC片材双辊压延装置”的专利,...
消息称荣耀新机量产线测试120... IT之家 6 月 27 日消息,博主 @数码闲聊站 今日爆料称,荣耀直板机的硅含量也在冲 30%,量...
GPT-5.6深夜亮相!性能反... 来源:市场资讯 (来源:财联社) 财联社6月27日讯(编辑 史正丞)北京时间周六凌晨,OpenAI官...
原创 首... 荣耀在屏幕上,多方面取得突破,先是护眼方面,已推出绿洲护眼,实现全场景、全天候护眼。而亮度方面,首发...
罗克维尔斯申请充电站信息处理专... 国家知识产权局信息显示,北京罗克维尔斯科技有限公司申请一项名为“一种充电站信息处理方法、显示方法、装...
AI短视频如何让“铸牢”教育可... 当前,数字技术以多种新方式赋能生产生活,铸牢中华民族共同体意识教育数字化、智能化趋势日益明显,AI(...