蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

科普丨联大为何鼓励弃用墨卡托投... 新华社北京9月5日电科普|联大为何鼓励弃用墨卡托投影绘制世界地图 新华社记者张晓茹 地球是球体,曲面...
亚太,不做美国AI的韭菜 刚过去的8月,一个带有威胁意味的操作震惊了人工智能圈。 据路透社报道,美国政府正在酝酿致函30多个国...
重视科普,助力科技成果真正落地 范国强 □中国工程院院士、河南农业大学教授 范国强 “科技三会”释放出强化科技创新、加快科技自立自强...
摩托罗拉宽折叠手机设计草图曝光... IT之家 9 月 5 日消息,科技媒体 Android Headline 昨日(9 月 4 日)发布...
挖宝新南京|这只“钢铁壁虎”,... 说起最需要由机器人替代人类工作的场景,一定包括危险的高空作业。在内蒙、青海等地,一座座百余米的风电塔...
奇虎科技申请音频处理方法专利,... 国家知识产权局信息显示,北京奇虎科技有限公司申请一项名为“音频处理方法、装置、设备、存储介质及产品”...
AI会让媒体人失业吗?亚太媒体... “随着AI发展,媒体机构招聘的采编人员是否会有所减少?”在亚太媒体高端论坛“当AI成为‘同事’,如何...
太原市2026年全国科普月主场... 9月5日,“科技改变生活 创新赢得未来”——太原市2026年全国科普月主场活动在太原植物园启幕。张昊...
原创 手... 大家好,今天来跟大家挖一挖手机里一个被很多人忽略的实用功能——NFC。 不知道你们有没有同感:手机用...
开局“十五五” 奋斗正当时·一... 清晨,东岳科技的生产车间里,第一缕阳光刚透过高窗洒在设备上,电子看板已经准时亮起。没有此起彼伏的对讲...