蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

订单再多、产能再赶,无线电发射... 一 别心存侥幸!这些产品只要量产,必须持证 SRRC(中国无线电型号核准认证)是带有无线发射功能(如...
宁国织密5G高速路 激活山城数... 盛夏时节,皖南川藏线云端景色通过高清直播顺畅传遍全网;几十公里外的中鼎集团生产车间,搭载5G专网的A...
成都出台全国首个人工智能地方政... 近日,成都市出台《成都市促进人工智能产业发展办法》(以下简称《办法》),将于2026年9月1日起正式...
0806周四板块逻辑~英伟达要... 本文相关信息仅供参考 ①煤炭:安监趋严叠加行业反内卷推动供给收缩,进口煤同步减少,动力煤CCI全线...
科普活动进江山社区 趣味实验点... 为弘扬科学家精神,推动科普服务向基层延伸,8月5日宜昌市科技馆走进江山社区开展“启迪科学智慧 共创富...
原创 日... 序幕:72小时内的“极速打脸” 反转来得太快。 2026年8月1日,日本的新一轮半导体出口管制正式生...
我国科研人员确证新型粒子“胶球... 8月6日 据新华社 中国科学院高能物理所6日证实,我国科研人员领衔的北京谱仪Ⅲ实验国际合作组,依托北...
字节高层释放信号!张一鸣罕见表... 快科技8月6日消息,据媒体消息,在字节跳动近日举行的内部会议中,创始人张一鸣表示,做模型要坚持长期主...
蒋臻骅说天下|美国搞AI霸权“... 近期,美国部分高级官员公开表示,将针对中国人工智能企业所谓“蒸馏”美前沿模型开展调查,并可能以“窃取...