蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

AI服务收费背后的逻辑 每一家提供国产大模型服务的企业,生存的根基不仅在于算法模型本身,更与稳定的网络通信服务以及不可或缺的...
什么是适配光伏电站场景的专业气... 光伏产业发展中的气象监测需求 在双碳目标的推动下,国内光伏产业规模持续扩大,电站运营的精细化程度不...
戴尔新XPS 13笔记本来了,... IT之家 6 月 17 日消息,戴尔 XPS 13 笔记本电脑现已在海外市场发售,新品搭载英特尔 W...
这个端午,来广东科学中心造一艘... 端午节将至,南都N视频记者从广东科学中心获悉,该中心将推出“节日科学派”科普品牌活动。本次端午活动将...
“机器人大脑第一股”仙工智能开... 6月15日,仙工智能正式启动招股,招股期至6月18日,且定于6月24日以股票代码“06106.HK”...
驾驶辅助:这4个中文字 真的是... 驾驶辅助,这几个字,真的是很难理解吗? 我一直以为,只要上过小学,看到它,都应该知道它所表达的意思。...
李想谈新能源车纯电和增程技术线... 凤凰网科技讯 6月17日,理想汽车创始人、董事长兼CEO李想发文,谈到纯电与增程汽车的区别。 李想表...
五谷寄期许、科创谢师恩,中国农... 6月17日,中国农业大学8000余名2026届毕业生迎来拨穗礼。毕业典礼上演了一场特别的“双向奔赴”...
三大运营商“杀熟”,搞区别对待... 评论员 陈柯旭 手机套餐越用越贵,流量却越来越少,专挑老用户下手? 最近,央视曝光三大运营商“杀熟”...
原创 雷... 有些手机,第一眼看上去不是参数,而是一种气质。像夏天傍晚街边橱窗里的一束光,明明不张扬,却会让人忍不...