蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

欧盟对Meta采取临时措施,限... (来源:经济日报) 转自:经济日报 当地时间9日,欧盟反垄断监管机构要求美国脸书母公司Meta开放旗...
原创 信... 通体焦黑、表面布满烧蚀斑痕的返回舱稳稳落在戈壁上,乍一看像是刚从一场大火里被拖出来。可几十分钟前,它...
一加 Turbo 6X Pro... 【CNMO】在智能手机市场拼参数、拼影像、拼AI的今天,有一类用户其实一直在默默等待一款产品——不追...
静候八方宾客!第10届南博会布... 第10届中国—南亚博览会开幕在即,昆明滇池国际会展中心处处都是忙碌的身影。连日来,各个展馆的展台搭建...
高颜值手机推荐:华为 Pura... 在手机审美愈发多元的时代,一款真正好看的手机,从来不是单一的配色出彩,而是色彩美学、精致工艺、好屏质...
天气与气候科学的AI革命:真革... 当下,AI几乎无处不在——无论是你打字时被数字"助手"不断打断,还是想买一台不需要联网的冰箱却发现难...
靠谱大容量TF卡推荐:三星T7... 靠谱三星T7存储卡,助你畅享Switch游戏自由 任天堂Switch2游戏机虽然已经上市有段时间了...
飞测思凯浦申请缺陷检测方法专利... 国家知识产权局信息显示,飞测思凯浦(上海)半导体科技有限公司申请一项名为“一种缺陷检测方法、模型训练...
AIVA概念车OriginCo... 新浪科技讯 6月9日晚间消息,在赛豆科技AIVA品牌发布会上,赛豆科技正式官宣AIVA携手火山引擎,...
大厂争抢,这么快,文科生的春天... 今年以来,关于AI加速重构文科生就业市场的声音一直在舆论中间弥漫。 不久前,“AI大厂月薪3万疯抢文...