蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

迈克生物:多款产品应用AI技术... 有投资者在互动平台向迈克生物提问:“公司有哪些自研AI技术应用、有何新突破?在分子诊断领域有什么重大...
@所有人 文昌之约:“嫦娥”奔... 今天(5月23日)上午,神舟二十三号载人飞行任务新闻发布会在酒泉卫星发射中心召开。 发言人介绍,为充...
王龙:AI时代金融教育要处理好... 近日,复旦大学经济学院举行“南土国际金融政策圆桌会第12期”暨“迎接AI时代系列”第1期。本次会议以...
触拓科技CT185H1会议预约... 一块屏,改变会议室门口的混乱局面。 会议室资源争抢、临时预约冲突、门口贴纸手写排期……这些困扰企业办...
布米普特拉北京投资基金管理有限... 美国科技巨头Meta正在经历一场剧烈的人事重构,但企业CEO扎克伯格试图给员工吃下一颗定心丸。当地时...
全国首次!智元机器人在张江试点... 5月20日,全国首次人机协同城市管理执法试点,在上海市浦东新区张江人工智能创新小镇(简称“张江AI小...
加速推动科幻产业“一中心四高地... 2023年,第81届世界科幻大会在成都成功举办;2024年,成都发布全国首个城市科幻发展规划;202...
互联网医院系统搭建与传统医院信... 很多人第一次接触互联网医院时,都会觉得它只是把传统医院搬到了线上。但实际上,互联网医院系统搭建和传统...
万物云宋澜涛:真正的智慧,始于... 5月22日,2026万物云灵石科技生态大会在广州召开,会上正式发布灵石能力开放平台及终端灵石“云芯”...
人类史上最大火箭!星舰V3发射... SpaceX星舰V3终于成功发射了。 北京时间5月23日早晨,SpaceX成功完成了星舰计划的第12...