蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

“脑机具身·数据引擎联合创新计... 人民网上海1月28日电 (记者葛俊俊)1月28日,第二届傅利叶具身智能生态大会暨张江机器人开发者先锋...
顺络电子:TLVR电感是相对于... 证券日报网讯 1月28日,顺络电子在互动平台回答投资者提问时表示,TLVR电感是相对于传统VR结构电...
联通流量卡没网怎么回事,联通纯... 办卡:微 信 公 众 号 搜【 可可 找 卡】,每天更新运营商官方高性价比套餐!帮你精准匹配适配流量...
从同济出发,2025届毕业生奔... 10713名同济学子 胸怀热爱,奔赴山海 他们秉承同济精神,怀揣初心理想 在时代浪潮中奋楫前行、不负...
模力社区生态赋能,探索智能汽车... 人民网上海1月28日电 1月28日,浦东模力社区企业极豆科技、智谱,与中国银联共同发布座舱原生支付 ...
手机屏幕调黄=护眼?可能更伤眼... 随着大家使用手机时长越来越多 很多人会打开手机的护眼模式 手机屏幕调黄后 总觉得能过滤掉蓝光 但其实...
EPA为AI基建需求建立化学品... 随着AI基础设施需求加速增长,数据中心运营商正在建设更大规模、更高密度的设施,这些设施产生前所未有的...
上海电信纯流量卡性价比评测,新... 办卡:微 信 公 众 号 搜【 可可 找 卡】,每天更新运营商官方高性价比套餐!帮你精准匹配适配流量...
MuleSoft新增智能体扫描... Salesforce在其集成平台MuleSoft中新增了"智能体扫描器"功能。智能体扫描器是Agen...
亮普智能取得检测气体流量计专利... 国家知识产权局信息显示,山东亮普智能仪表有限公司取得一项名为“一种检测气体的流量计”的专利,授权公告...