蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

校监协同+科技加持!解锁高校食... 烟火氤氲的高校食堂,既是师生日常就餐的重要场所,也是食品安全监管的重点阵地。为压实高校食堂食品安全主...
宇桐机械取得分段式螺旋叶片专利... 国家知识产权局信息显示,宁波市鄞州宇桐机械制造有限公司取得一项名为“分段式螺旋叶片”的专利,授权公告...
托特纳姆热刺迁移VMware节... 托特纳姆热刺足球俱乐部,作为英超联赛的一支职业球队,通过将球场的VMware实例替换为慧与科技(HP...
原创 5... 2022 年,中国氢能迎来爆发元年。科研领域最轰动的消息,莫过于海水直接制氢取得重大突破。 四川大...
蜂巢能源取得盖板结构及电芯专利... 国家知识产权局信息显示,蜂巢能源科技股份有限公司取得一项名为“盖板结构及电芯”的专利,授权公告号CN...
我国牵头的智慧城市人工智能应用... 导 读 近日,我国牵头提出的《城市和社区可持续发展 智慧城市运营模型中的人工智能应用 第2部分:原则...
挑辅具、喝咖啡、看表演——20... 本报(chinatimes.net.cn)记者石文君 北京摄影报道 9月3日,2026中国国际福祉博...
合肥数字经济产业“新地标”来了 9月3日,记者从蜀山高科获悉, 高科·模数科技港整体建设进入收尾阶段,有望于10月份完工。 该项目聚...
V申请显示设备及流媒体视频数据... 国家知识产权局信息显示,V荷兰私营有限责任公司申请一项名为“一种显示设备及流媒体视频数据的解码方法”...
校长奖章|坚守初心砥砺前行,追... 在粉末冶金的微观世界里 她以七年光阴丈量科研的厚度 在钛合金应用的国家需求中 她用硬核成果书写青年的...