蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

名为CurioSea,前字节小... 《读佳》从信源处获知,前字节小云雀负责人张心怡的创业方向或为AI原生学习平台,名为CurioSea,...
马云黄仁勋马斯克山寨三巨头线下... 快科技8月17日消息,近日,一段范小勤、烤斯克、黄银勋三人线下碰面梦幻联动的抓拍视频,在社交平台走红...
原创 R... REDMI K100 Pro上周正式发布,发布即开售。到现在已经快一周的时间了,所以今天就给大家盘点...
凌晨生效!DeepSeek A... 近日,深度求索官方宣布对DeepSeek API价格进行调整,引入峰谷定价机制:空闲时段价格为高峰时...
原创 O... 前不久三星刚发布了新款折叠屏,配置确实挺诱人,但那个价格老实讲真让人有些肉疼。如果你想找一台体验不打...
渝企亮出“照妖镜” 数字伪造现... 标准简介>>> 《信息技术 生物特征识别深度伪造攻击检测 测试与报告》 该标准由中国企业马上消费提出...
拥抱AI,别只停留在聊天框(编... 亦 青 有人打比方说,和AI聊天,就像是“情感代糖”——能够缓解表面的孤独,却无法提供真实、有温度的...
Google进入“创始人模式”... (来源:DeepTech深科技) 8 月初,Google AI 团队经历了不同寻常的一周。Demi...
简皆科技取得电子设备配件专利,... 国家知识产权局信息显示,深圳市简皆科技有限公司取得一项名为“电子设备配件”的专利,授权公告号CN22...
原创 晚... 现在不管是二三十岁的年轻人还是四五十岁的中年人,生活压力都特别大。房租水电、房贷车贷加上日常开销,压...