蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

深圳首批“党建+”智慧养老社区... 深圳商报·读创客户端记者罗凯燕 去社区智慧养老中心做理疗、在数字健康食堂刷脸就餐、通过小程序一键预约...
99万元机器人伴侣续航撑不过一... 7月6日,热搜上突然炸开一个话题:“99万元机器人伴侣续航撑不过一晚”。中国新闻周刊的报道称,该机器...
原创 4... 解禁期将至,MiniMax再迎大考。 定焦One(dingjiaoone)原创 作者 | 金玙璠 编...
阳光电源申请功率变换器通信串扰... 国家知识产权局信息显示,阳光电源(上海)有限公司申请一项名为“功率变换器、功率变换器的通信串扰抑制方...
江苏探路AI for Scie... 当科学发现从实验室的反复试验,迈向AI算法驱动的系统探索,传统科研范式正在经历深刻的变革。当前,人工...
东南大学自主研发的深海“智能矿... 据《新华日报》报道,由东南大学陆慧敏教授团队自主研发的“至善一号”新型绿色智能探测采选一体化深海开发...
全球数字经济大会数字体育论坛举... 新京报讯(记者吴为)7月4日,2026全球数字经济大会数字体育产业发展论坛在中关村国家自主创新示范区...
艾比德泵业取得金属加工用投料箱... 国家知识产权局信息显示,无锡艾比德泵业有限公司取得一项名为“一种金属加工用投料箱”的专利,授权公告号...
多地推出新一轮人工智能产业扶持... 本报记者 田鹏 近期,全国多地推出新一轮人工智能(AI)产业扶持政策。例如,北京市经济和信息化局正式...
华米OV耀集体押注大屏,小屏手... 小屏卷不动了,AI需要大屏? 根据IDC今年5月发布的终端监测报告,国内6.95英寸以上大屏手机出货...