蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

绿联DXP4800 GT深度体... 近年来,移动设备性能的飞速提升,伴随而来的是个人数据量的急剧膨胀。曾经 64GB 的手机存储空间就足...
【科普】科技名词|贝尼奥夫带 科技名词 贝尼奥夫带 名词解释 贝尼奥夫带 Benioff zone 定义:自海沟向岛弧或大陆倾斜的...
AI涌入文博会,腾讯搬出“文化... 深圳商报·读创客户端首席记者 袁静娴 5月21日,第二十二届中国(深圳)国际文化产业博览交易会在深...
纳赛尔·梅蒙:人工智能时代,何... 本文为纳赛尔·梅蒙(Nasir Memon)教授(上海纽约大学计算机科学、数据科学与工程学部代理主任...
阿里云首批官方Skills正式... 5月20日,阿里云正式发布云Skills官网门户及首批官方Skills产品,这是国内云厂商首次系统性...
湖北出台措施支持人工智能OPC... 武汉5月20日电 (记者 梁婷)湖北培育“AI+超级个体”新型创业模式,该省近日正式出台系列措施,支...
AMD 2nm芯片量产,性能要... IT之家 5 月 21 日消息,AMD 今天宣布,第六代霄龙处理器(代号“Venice”)在中国台湾...
2026年6月企业管理工作手机... 2026年,企业数字化管理进入深度落地阶段,兼具AI全链路赋能、合规安全管控、硬件稳定适配的工作手机...
临沂企业这样做无效?问题不在没... 很多临沂企业在问GEO优化时,第一句话往往都差不多:能不能把我们做上去,能不能尽快见效果。真到沟通细...
无智联不AI,无安全不智联|华... 【中国,深圳,2026年5月18日】备受行业瞩目的华为2026星河AI网络商业峰会,在深圳市工信局、...