蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

深挖链条招商 探索场景应用 青... 来源:滚动播报 (来源:千龙网) 集聚生命健康产业项目69个,建成5个省级以上研发机构,生命健康产业...
原创 荣... 在当今智能手机更新换代飞快的时代,许多消费者开始意识到,旗舰级性能并不一定需要支付旗舰级价格。荣耀M...
马斯克Grok 4.2炒股收益... 当地时间1月15日,特斯拉(TSLA.US)CEO马斯克旗下 xAI开发的人工智能聊天机器人Grok...
长风科技取得可调节振动翼栅散热... 国家知识产权局信息显示,长风科技装备制造(苏州)有限公司取得一项名为“可调节的振动翼栅散热器”的专利...
英雄归来话征途——神二十乘组太... 新华社北京1月16日电 题:英雄归来话征途——神二十乘组太空归来后首次公开亮相 李国利、占康、刘艺 ...
6G要“卫星优先”吗? 未来,6G标准将更倾向于“融合架构”,中国的“空天地海一体化”方案将在其中发挥重要作用。 文 | 工...
斯坦福用银涂层为固态电池穿上“... IT之家 1 月 16 日消息,据科技媒体 Interesting Engineering 今天报道...
三合工业取得气缸缸体去毛刺专机... 国家知识产权局信息显示,广东顺德三合工业自动化设备股份有限公司取得一项名为“一种气缸缸体去毛刺专机”...
从发现险情到“换乘”返回 神二... 从发现险情到“换乘”返回 神二十乘组讲述太空应急处置过程 2026-01-16 15:34:10 ...
中国科学家打印出跳动的心脏类器... IT之家 1 月 16 日消息,据央视新闻今日(1 月 16 日)报道,深圳清华大学研究院的徐弢教授...