蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

为什么大家都推荐华为畅享 70... 给家里长辈换机,或者自己只想找一部省心耐用的备用机,往往不需要多花哨的功能,电池顶用、屏幕舒服、系统...
企业即时通讯怎么采购验收?从“... 企业采购即时通讯系统时,最容易出现的问题,不一定是“功能不够多”,而是需求书里写了大量“支持”,上线...
第4期π创空间产业加速营举办,... 9月4日,“数字赋能·焕新罗湖——第4期π创空间产业加速营”暨第3期“OPEN罗湖”产业融通系列活动...
原创 华... 华为Mate 90系列还没有正式发布,但到了现在这个阶段,我反而觉得它已经不需要继续靠堆爆料制造热度...
中国机器人在沙特科技展“圈粉” 来源:新民晚报 参观者试骑智元酷拓四足机器人 新华社 发 宇树科技展台的人形机器人格斗表演 新华...
《西雅图时报》和《新闻日报》起... 9月6日消息,据TC报道,又有两家新闻机构起诉 OpenAI 和微软,指控他们利用其新闻报道训练人工...
街头无剧本,这五个要点值得每一... 街头摄影,不是在拍陌生人,而是在拍你与这个世界擦肩而过的瞬间。 街头是最好的剧场,路人是最好的演员,...
不会写代码的人,在B站造出了百... (来源:机器之心) 编辑|杨文 一个材料学博士生,靠 AI 一口气搓出三款小游戏,全网疯传。 他叫「...
[视频]“七一勋章”获得者钟掘... 央视网消息(新闻联播):“七一勋章”获得者钟掘,是中国工程院机械与运载工程学部首位女院士。从第一个五...
双向赋能、豫粤联动,未来产业合... 【大河财立方 记者 王鑫 广州报道】当硬科技成为驱动中国经济高质量发展的新引擎,中原大地与粤港澳大湾...