蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

国网新疆电力投运特高频局部放电... (来源:电能革新) 日前,国网新疆电力有限公司自主研发的特高频局部放电在线监测智能体投运。该智能体部...
图灵奖得主萨顿:当前大模型不具... 图灵奖得主理查德·萨顿(右二) “现在的大语言模型没有目标,也完全不具备真实体验。”7月24日下午,...
利元亨获得发明专利授权:“异质... 证券之星消息,根据天眼查APP数据显示利元亨(688499)新获得一项发明专利授权,专利名为“异质结...
丘成桐邀请王虹、邓煜回国任教,... 据央视新闻,在23日于美国费城举行的2026年国际数学家大会开幕式上,中国籍数学家王虹获得菲尔兹奖。...
会员动态|中兴通讯全栈智算生态... (来源:上海市物联网行业协会) 7月18日,以“极致协同 沪筑生态”为主题,2026世界人工智能大会...
北京东城推出17条措施建设“人... 中新网北京7月24日电 (记者 陈杭)记者24日从北京市东城区获悉,首届“紫金光影”微视听创新大赛荣...
太空多了颗“上海芯”!力箭一号... 7月24日7时33分,东风商业航天创新试验区,中科宇航力箭一号遥十五运载火箭腾空而起,以“一箭五星”...
三星短宽Z Fold8口碑爆棚... 三星Galaxy Z Fold8上市初期收获压倒性好评,这对正在筹备折叠屏iPhone的苹果而言无疑...
星火智能取得带翻盖功能的空框抓... 国家知识产权局信息显示,广东星火智能科技有限公司取得一项名为“一种带翻盖功能的空框抓取装置”的专利,...