蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

京东方申请显示面板及显示装置专... 国家知识产权局信息显示,京东方科技集团股份有限公司、成都京东方光电科技有限公司、北京京东方技术开发有...
雷士照明与星网天合达成战略合作... 8月13日,国内照明行业头部品牌雷士照明与全球知名ICT+AIoT智慧空间解决方案提供商星网天合正式...
他为成都的天空织梦:低空经济,... 郭亮丨四川沃飞长空科技股份有限公司CEO兼首席科学家 成都低空经济产业领军科创人才。深耕无人航空器与...
以AI驱动外贸变革,XTran... 来源:猎云网 AI时代,人工智能技术正在深度渗透全球贸易。数字化、智能化成为外贸转型升级的核心驱动力...
原创 万... 前段时间荣耀直接甩出重磅王炸,推出全球首款量产机器人手机Robot Phone,现在发布会结束之后手...
空头已弹尽粮绝:SpaceX股... 8月13日消息,据CNBC报道,做空者押注SpaceX股价下跌就在新上市的股票从首次公开募股后的暴跌...
星烁纳米申请二氧化硅壳层包覆荧... 国家知识产权局信息显示,苏州星烁纳米科技有限公司申请一项名为“一种二氧化硅壳层包覆的荧光微球、示踪剂...
千问、豆包探索付费,AI生活服... (来源:贝壳财经) 8月10日晚间,阿里巴巴旗下千问App正式推出办公助理专业会员付费订阅服务,8月...
曝苹果iPhone 18搭载1... IT之家 8 月 13 日消息,苹果标准版 iPhone 18 要到 2027 年初才会发布,但届时...
百度袁佛玉:成都文创释放AI新... 智能体时代,应用层创业比拼的不只是模型能力,更是组织工作流、持续交付结果的能力。8月12日,在百度智...