蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

国产大模型与算力平台“双向奔赴... 本文转自【央视新闻客户端】; 今年以来多个大模型自发布之后,国产算力迅速适配。这份快速响应背后存在哪...
台积电加速扩充先进封装 “异质... 摩尔定律持续推进,但先进制程成本与系统复杂度同步上升,异质整合正成为AI算力竞争的重要战场。台积电持...
腾讯混元Hy4预览版提前发布 ... 观点网讯:8月28日,腾讯正式发布混元Hy4预览版,早于摩根士丹利此前预期的9月,也印证了管理层在二...
订单排到年底!这一千亿级“冷”... 大模型越做越大,芯片越跑越快,一个看似朴素的问题突然变得棘手起来——服务器太热了,怎么办? 过去,数...
和林格尔新区打造北方规模领先的... 随着人工智能与算力基础设施持续发展,算力建设规模持续扩张,能耗与碳排放压力同步加大,绿色算力发展需要...
中国联通应用5G-A三载波大上... 8月26日晚,山东省第二十六届运动会在临沂奥体中心体育场盛大开幕。数万名现场观众、演职人员与媒体记者...
2026年双卡信号手机推荐,通... 2026-08-31 16:11:52 作者:狼叫兽 双卡用户的信号痛点,选对机型很重要 不知道你有...
今年以来!约局吧辅助器,德普之... 今年以来!约局吧辅助器,德普之星透视辅助,本来真的有挂(有挂功能)1、用户打开应用后不用登录就可以直...
据公告内容!wepoker有辅... 据公告内容!wepoker有辅助插件吗,德普之星辅助器,一直是真的有挂(有挂规律)1、首先打开德普之...
刚刚!福建大菠萝万能辅助器,德... 刚刚!福建大菠萝万能辅助器,德扑圈有透视吗,切实确实有挂(有挂规律)1、玩家可以在德扑圈有透视吗透视...