蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

显示与防窥效果的两全法:华为展... 9月1日,华为官方接连发布全新展翼三折叠灵盾防窥屏的预热视频,华为Mate XT2 非凡大师首次实现...
长征十号乙首飞成功 我国运载火... 2026年7月10日,长征十号乙运载火箭在海南商业航天发射场发射升空,将卫星顺利送入预定轨道。 火箭...
培安美申请多源异构健康数据处理... 国家知识产权局信息显示,培安美(浙江)科技股份有限公司申请一项名为“多源异构健康数据处理方法、系统、...
世音联申请时延测量系统专利,实... 国家知识产权局信息显示,广州世音联软件科技有限公司申请一项名为“时延测量系统、方法、设备、介质及程序...
海南举办东方初芯AI原生内容创... 8月28日,东方初芯FC—OPC Next iCreate AI原生内容创作大赛决赛暨东方市AI文旅...
【关注】“无感”之中见“有心” “无感”之中见“有心” □新声 科技飞速迭代,重塑着社会生活的方方面面。 扫码办事、线上申办成为政务...
AI赋能文博创意,让文物创新走... 近日,2026广州互联网大会在广州举行。本届大会以“智赋千行·新质领航”为主题,采用“三区联动”模式...
建功新时代丨彭彪:守匠心深耕实... 委员名片 彭彪,市政协委员、毫厘机电(苏州)有限公司总经理。 投身芯片液冷赛道深耕实业,用一腔热忱...
荣耀这 1TB 千元新机,真是... 来源:科技狐 这周有点 “ 机荒 ” 啊! 各家重磅新机要等到下周才开始上,目前正是暗流涌动的前奏,...
硬核实力秀出来!门头沟8家企业... 近日,北京市科学技术委员会、中关村科技园区管理委员会等5部门正式公布北京市新技术新产品新服务(总第二...