蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0次

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本。

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

重磅来袭!wepoker安装教... 重磅来袭!wepoker安装教程,德扑之星开挂透视教程神器(确实真的有透视)AI 智能体黑科技再上新...
推荐十款!!wepoker底牌... 很多人使用云端 AI 时,都担心wepoker底牌透视脚本、内部资料上传带来隐私风险。这款本地运行的...
透明挂教程!如何下载德普之星辅... 如何下载德普之星辅助软件AI 游戏攻略黑科技上线本地缓存功能,离线查阅能力开挂。提前下载对应游戏攻略...
热点推荐!德普之星透视,WPK... 您好:德普之星透视这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用户的牌特别...
分享认知!we-poker有人... 分享认知!we-poker有人玩吗,德普之星开挂透视教程工具(最初是有透视)AI 智能体黑科技再上新...
必备教程!wepoker透视脚... 必备教程!wepoker透视脚本视频,德扑之星有没有挂吗平台(一向真的有开挂)AI 是一款可以让一直...
科普分享!wepoker轻量版... 科普分享!wepoker轻量版辅助,德扑之星透视下载(果然真的有辅助挂)主打本地运行的 AI 黑科技...
今日百科!德扑之星的辅助工具介... AI 黑科技赛道又上新,这款智能处理工具堪称效率开挂,专门面向短视频创作者打造。它打通脚本撰写、AI...
推荐一款!!智星菠萝透视,WP... 『标题:当前标题』主打赛后复盘的 AI 游戏攻略黑科技走红,对局总结能力开挂。上传对局回放或者战绩截...
扑克教程!wepoker轻量版... 本地部署 AI 黑科技工具迎来新版本,不用上传文件到云端就能完成wepoker轻量版透视解析、 AI...