蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

售价是普通椰子10倍!国产稀缺... ◎ 科技日报记者 王祝华 单价近百元、售价是普通椰子10倍的珍稀糯米椰,终于攻克规模化繁育难题!8月...
小鹏人形机器人业务获独立融资,... 8月24日,九派新闻财经记者获悉,小鹏集团宣布,旗下人形机器人业务已与多家投资者签署股权融资协议。本...
多台风同时活跃 将给我国带来什... 目前,西北太平洋和南海海域正在上演着“四台共舞”,今年第18号台风“沙德尔”、第19号台风“紫檀”和...
“董宇辉”出走,东方甄选一年少... IT之家 8 月 24 日消息,东方甄选 8 月 21 日发布截至 2026 年 5 月 31 日止...
国资文创亮相第二届世界人形机器... 第二届世界人形机器人运动会期间,世界人形机器人运动会官方文创店正式在“冰丝带”与市民观众见面,本届赛...
全球首个藻类高质量数据集运用平... 藻类展示墙。 记者郭曼摄 8月23日,第七届国际虾青素产业发展论坛在昆明举行,政府代表、科研院所专家...
“养老刚需”也是产业蓝海(“十... 近日,2026山西银发经济合作交流活动在山西省太原市举办。图为观众在展会上体验单关节外骨骼智能机器人...
【光明日报】科技馆成暑期出行热... 近日,记者从中国科技馆了解到,暑期中国科技馆日均人流量达3万人次。的确,这个夏天比天气更“热”的,是...
工信部:推动北斗规模应用 适时... 记者今天(8月24日)从工业和信息化部电子司获悉,“十五五”期间,工信部将会同有关方面,以强化北斗生...
如何满足分布式光伏并网光伏四可... 近年来,国内分布式光伏装机规模持续快速增长,大量分布式电源接入电网给传统电力系统的稳定运行、电能质量...