蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

玩家必知教程!新漫游正版辅助软... 玩家必知教程!新漫游正版辅助软件(连连看辅助源码)从前有作弊挂开挂辅助神器(确实有挂);1、这是跨平...
玩家必看分享!新九五有脚本(新... 玩家必看分享!新九五有脚本(新永和链接辅助)最初有作弊器开挂辅助黑科技(有挂秘笈);新永和链接辅助最...
一分钟了解!新金龙辅助工具(蜀... 一分钟了解!新金龙辅助工具(蜀山四川破解好友版辅助)从来有作弊器开挂辅助黑科技(真是有挂);人气非常...
重要通知!超级三加一正版(威信... 重要通知!超级三加一正版(威信茶馆辅助器下载)果然有作弊挂开挂辅助工具(真的有挂);超受欢迎的威信茶...
热点推荐!微信新九游辅助(闲聚... 热点推荐!微信新九游辅助(闲聚鱼虾蟹软件脚本)一直有作弊器开挂辅助工具(有挂细节)是一款可以让一直输...
发现一款!超级三加一辅助工具(... 发现一款!超级三加一辅助工具(聚友联盟)起初有作弊挂开挂辅助软件(有挂助手);超级三加一辅助工具辅助...
玩家必看科普!天酷辅助巡查系统... 《玩家必看科普!天酷辅助巡查系统(打哈儿辅助)从来有作弊挂开挂辅助插件(存在有挂)》 天酷辅助巡查系...
发现玩家!樱花之盛辅助器(中至... 发现玩家!樱花之盛辅助器(中至赣牌圈黑科技)往昔有作弊器开挂辅助插件(有挂秘诀)是一款可以让一直输的...
重大通报!新道游游戏辅助器安装... 重大通报!新道游游戏辅助器安装包(微信大厅辅助软件)原来有作弊器开挂辅助黑科技(讲解有挂);重大通报...
让我来分享经验!新祥心辅助脚本... 让我来分享经验!新祥心辅助脚本(impoker辅助)起初有作弊器开挂辅助软件(有挂细节);是一款可以...