蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

60秒测情绪,AI“比你更懂你... (来源:河北日报) 转自:河北日报 高科技“神器”引来首批体验者 60秒测情绪,AI“比你更懂你” ...
利弗莫尔取得PLC电柜散热装置... 国家知识产权局信息显示,无锡利弗莫尔仪器有限公司取得一项名为“一种PLC电柜散热装置”的专利,授权公...
天合光能取得光伏产品加工设备专... 国家知识产权局信息显示,天合光能股份有限公司取得一项名为“光伏产品加工设备”的专利,授权公告号CN2...
航天员变身“快递员”,神舟二十... IT之家 1 月 25 日消息,中国载人航天工程办公室今日公布了天宫 TV 第十季第十集。上周,神舟...
打造应用场景,推动“中医药+A... (来源:河北日报) 转自:河北日报 李挥代表: 打造应用场景,推动“中医药+AI”创新发展 李挥代...
金岭电器取得木工角度尺专利,实... 国家知识产权局信息显示,青岛金岭电器有限公司取得一项名为“一种木工角度尺”的专利,授权公告号CN22...
字节AI撒“豆”成兵 作者|市象 景行 一颗AI豆,正在打开新的录音体验。 有投资人下单体验后,在朋友圈晒图评价:“感觉...
从“动起来”到“用起来”:先进... 先进制造正从概念走向量产。 《投资者网》张静懿 2025年,中国先进制造业在高质量发展的道路上取...
探访溧水生产线上废旧锂电池“再... □ 本报记者 苑青青 一块锂电池“打工”8年后如何光荣“再就业”?1月23日,南京溧水经济开发区,江...
不需要火箭就可直达 太空电梯离... 太空电梯离我们还有多远(唠“科”·科幻里的科学) 科幻作品中,出现过太空电梯的身影——不需要火箭,只...