蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0次

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本。

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

科技教程!wepoker辅助器... 您好:wepoker辅助器怎么弄这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会发现很...
记者揭秘!!wejoker私人... 很多人使用云端 AI 时,都担心wejoker私人辅助软件、内部资料上传带来隐私风险。这款本地运行的...
重大通报!wepoker私人局... 本地部署 AI 黑科技工具迎来新版本,不用上传文件到云端就能完成wepoker私人局透视教程解析、 ...
来一盘!德普之星app安卓版破... 德普之星app安卓版破解版AI 游戏攻略黑科技上线本地缓存功能,离线查阅能力开挂。提前下载对应游戏攻...
科普攻略!智星德州插件最新版本... 科普攻略!智星德州插件最新版本更新内容详解,微扑克怎么开挂工具(确实是有辅助)AI 是一款可以让一直...
科技通报!德扑圈透视,WPK有... 德扑圈透视AI 游戏攻略黑科技上线本地缓存功能,离线查阅能力开挂。提前下载对应游戏攻略数据包,断网状...
玩家必备攻略!智星德州插件最新... 玩家必备攻略!智星德州插件最新版本更新内容详解,德扑之星开挂脚本插件(其实存在有辅助)AI 是一款可...
一分钟了解!德扑圈透视挂,WP... 您好:德扑圈透视挂这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用户的牌特别...
让我来分享经验!wepoker... AI 黑科技赛道又上新,这款智能处理工具堪称效率开挂,专门面向短视频创作者打造。它打通脚本撰写、AI...
发现一款!!wpk插件辅助,W... 您好:wpk插件辅助这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用户的牌特...