蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

小米发布全屋智能AI开源方案M... 【CNMO科技消息】6月18日,小米正式发布以MiMo大模型为核心的全屋智能AI开源方案Miloco...
存在约1年时间:微软修复Win... IT之家 6 月 20 日消息,微软于 6 月 18 日更新官方支持文档,承认在 Windows 1...
钢网擦拭纸和普通无尘纸有什么区... 很多刚接触SMT行业的采购人员或设备维护人员都会有这样的疑问:钢网擦拭纸看起来和普通无尘纸差不多,为...
曝佳能2026年将发RF 24... 据悉,佳能正计划于2026年发布多款具备“全球首发”意义的RF卡口镜头,阵容涵盖备受瞩目的RF 24...
微软官宣今秋上线Win11 2... IT之家 6 月 20 日消息,微软今天(6 月 20 日)发布公告,宣布将延续 25H2 更新模式...
吕梁中压发电车出租 在电力供应体系中,临时性或应急性的电力保障是一个关键环节。当固定电网因检修、故障或容量不足而无法正常...
技术攻关筑牢根基 解锁航运绿色... 来源:星沙时报 来源:人民网 走进上海海事大学综合机舱实验室,主机运转的低沉声浪扑面而来,集控室显示...
IPO研究|预计2030年中国... 瑞财经 吴文婷6月18日,数说故事人工智能科技股份有限公司(以下简称“数说故事”)在港交所递交招股书...
事关AI+消费,商务部等8部门... 为贯彻落实《国务院关于深入实施“人工智能+”行动的意见》和《中共中央办公厅 国务院办公厅关于印发〈提...
原创 荣... 纵观今年618手机销量榜单,1500元价位段出现了一匹黑马——荣耀X70焕新版,长期稳居同价位销量榜...