蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

面对AI冲击,文学最终只能是心... 文学只能是心智造物(文思) 如今,AI(人工智能)技术日新月异,一个写作的新手也可以借助AI写出文从...
获国家级奖项!恭喜阜阳这些企业 国家科技进步奖二等奖 在日前召开的2025年度国家科学技术奖励大会上, 由我市企业昊源化工集团参与完...
在越来越追求“速度”的时代,我... 在追求速度、信息爆炸的时代,我们正被一种“快知识”文化所裹挟:它崇尚量化、追求速度、迷恋实用,却割裂...
本地小程序开发公司哪家好 苏州... “附近的小程序开发公司”是许多企业主在搜索引擎上的高频提问。选择本地公司的好处显而易见:沟通成本低、...
超200位经济学家警告AI失业... 【CNMO科技消息】一个名为"We Must Act Now"(我们必须立即行动)的新组织于本周一发...
AI产业风口正劲,宁波这家企业... 当下全球AI产业加速发展,全球算力中心建设热火朝天。扎根宁波前湾新区的库柏(宁波)电气有限公司,凭借...
把你的车悄悄弄坏再修好,这其实... 不知道各位车主,有没有碰到过“小病大修”的经历。 本来是个小剐蹭,看着车上痕迹轻微,以为几百块就能搞...
镜头盲区暗箱操作 测评结果早已... 近期,一些消费者投诉,个别网络直播间展示的测评效果和实物体验差距悬殊,市场上依旧有虚假网络测评损害消...
中国芯的历史性一刻!国产8核R... 7月13日消息,Linux 7.2-rc3版本近日正式发布,在该版本的RISC-V架构默认内核配置中...
选择电动夹爪需要考虑哪些关键参... 电动夹爪正在工业自动化领域快速普及,从汽车焊装线到3C电子组装,从食品包装到医疗器械生产,几乎每个行...