蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

禾控科技取得纸机靴压液压提升控... 国家知识产权局信息显示,杭州禾控科技有限公司取得一项名为“一种纸机靴压液压提升控制装置”的专利,授权...
东北三省共建数据标注产业集群 (来源:辽宁日报) 转自:辽宁日报 本报讯 记者金晓玲报道 开拓场景,链接需求,打造“东北数据标注”...
“AI+医疗”催生更多新场景 新华社长沙11月22日电 (记者 常竣斐)在算力快速发展的背景下,众多机器人产品、大模型技术正加速布...
电脑硬盘恢复数据有什么技巧?推... 在日常使用电脑的过程中,硬盘数据丢失的情况时有发生,可能是误删除操作、病毒攻击、系统故障或者硬件损坏...
青春华章丨新质生产力在科创沃土... 央广网天津11月22日消息(记者周思杨 实习记者王婧瑜)走进天开津南园,在这条京津冀科创走廊的核心地...
江苏“院士天团”扩容,一起来看... 11月21日,2025年两院院士增选结果揭晓。江苏新增6位中国科学院院士、两位中国工程院院士。在苏两...
古尔曼称iOS 27不会盲目堆... 【环球网科技综合报道】11月24日消息,彭博社资深记者马克・古尔曼日前通过 “Power On” 时...
原创 买... 前几天陪发小去提电车,销售对着配置表吹得天花乱坠,一会儿说三元锂跑得远,一会儿又说磷酸铁锂安全,末了...
盼企业“长出”更多院士 当人才体制壁垒的进一步打破,更多创新资源向企业集聚,产业一线成为科技创新主阵地,未来必将有更多来自企...
面向语义缺失的骨签释文分类算法 摘要:陕西省西安市汉长安城遗址出土的骨签为西汉历史的研究工作提供了丰富资料,受长期埋藏和人为开采影响...