蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

地球生命起源有新解 或诞生于水... 王信强 斯坦福大学的一项研究显示,生命可能起源于水滴中的“微闪电”。也就是说,构成地球生命的第一个分...
优刻得与数道智算达成智算中心战... 近日,优刻得与智能计算领域创新企业北京数道智算科技有限公司(下称:数道智算)正式签署战略合作协议,双...
游戏ios系统管理:便宜好用且... **一、云手机在游戏群控管理中的重要性** 在当今的游戏世界里,特别是对于那些需要多账号操作或者...
局域网监控软件哪家好?5款高端... 你是否遇到过这样的烦恼: 公司网络突然变慢,却找不到原因? 员工上班时间刷视频、打游戏,工作效率低下...
魔法原子举办2025场景战略发... 3月26日,魔法原子举办「原子双生」2025场景战略发布会,正式推出人形机器人和四足机器人,并首次推...
西湖大学开发出精准定位脑疾病细... 2025-03-20 08:41:52 作者:狼叫兽 近日,西湖大学杨剑教授团队在脑疾病研究领域...
时隔两月半,微信内测爆更! 在多个新功能灰度放量后,微信官方终于发布了新版本更新。 就在昨晚(3 月 10 日), 微信安卓平台...
学而思“上新”,学习机的“参数... 来源:雪豹财经社 在小红书上,“学习机哪个牌子好用推荐”的相关笔记超过130万篇。面对市面上大量同质...
新科技成果!创新草莓原种苗技术... 近日,在第十届世界草莓大会上,上海交通大学农生物学院研究员许文平团队研发的“纯品种、减农药、减化肥”...
化学清洗技术与清洗剂2025武... 2025武汉工业清洗展:引领技术革新的新纪元 多元清洗技术大汇聚:武汉展会即将开启 化学清洗技术与清...