蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

时隔6年海外重回5G行列?华为... 华为全球消费者官网今天上线了预热消息,华为将在7月14日在马来西亚首都吉隆坡召开旗舰产品发布会,发布...
新职业名单暗藏产业转型信号 哪... 新职业名单暗藏产业转型信号 苏诗钰 一份新职业名单,不只关乎就业岗位的增减,更是观察中国产业转型的重...
原创 外... 外星人探索·引力波通讯理论:跨越光年屏障的宇宙级信息传输可能性 一、为什么电磁波通讯有极限:穿越银...
赋能主业提质增效 省交通集团举... 近日,省交通集团举行首届AI智能体创新应用大赛颁奖仪式暨第二届大赛启动仪式。活动集中展示首届大赛优秀...
NASA火箭紧急“改签”!火箭... 近日,NASA原计划执行一项特殊任务:发射机器人航天器LINK,前往帮助已经服役20多年的Swift...
丘成桐:基础研究要讲“兴趣”,... 2026年7月6日,第三十六届国际弦理论大会(Strings 2026)在上海开幕。本届大会由上海数...
豆包千问下架“智能体”?翻译闹... 这两天AI圈有个消息,把网友给整精神了。 豆包、千问、元宝,连夜下架智能体。 时间很巧,豆包通知称智...
因制造工艺问题所致,英伟达Ky... IT之家 7 月 6 日消息,据科技媒体 CNBC 昨天报道,研究机构 SemiAnalysis 数...
华为Mate90系列或将秋季登... 《科创板日报》7月6日讯(记者 黄心怡)《科创板日报》记者从知情人士处获悉,将于今年秋季发布的华为M...