蚂蚁回应新模型训练成本降低:基于不同芯片持续调优,会逐步开源
创始人
2025-03-25 07:21:29
0

IT之家 3 月 24 日消息,据新浪科技报道,针对有关蚂蚁“百灵”大模型训练成本有关消息,蚂蚁集团回应称,公司针对不同芯片持续调优,以降低 AI 应用成本,目前已经取得一定进展,也将逐步通过开源分享。

IT之家附事件背景:

近日,蚂蚁集团 Ling 团队在预印版 Arxiv 平台发表技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》,宣布推出两款不同规模的 MoE (混合专家)大语言模型 —— 百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),并提出一系列创新方法,实现在低性能硬件上高效训练大模型,显著降低成本

百灵轻量版参数规模为 168 亿(激活参数 27.5 亿),增强版基座模型参数规模高达 2900 亿(激活参数 288 亿),性能均达行业领先水平。实验表明,其 3000 亿参数的 MoE 大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。

相关内容

热门资讯

人类首次获得雄性果蝇完整“脑回... 同样看到一个目标、闻到一种气味,或者听到一段求偶歌,雄性和雌性果蝇可能做出截然不同的反应。现在,科学...
研究称OpenAI智能体“劫持... (来源:经济日报) 转自:经济日报 一项新发布的独立研究显示,一批与美国开放人工智能研究中心(Ope...
工业除尘系统滤袋选型策略:基于... 工业除尘系统滤袋选型策略:基于工况适配的降本增效实践 在工业除尘系统的全生命周期管理中,滤袋作为核心...
从能用到抢入口,AI办公大考才... 文 | 来咖智库 AI办公,正在复刻三年前生成式大模型的盛宴。 所不同的是,和彼时生成式大模型的“...
椅随人动:清闲动态人机工学椅亮... (来源:雷科技) 9月4日至8日,德国柏林国际电子消费品展览会(IFA 2026)在柏林展览中心举行...
周德宇:AI的“奥本海默时刻”... 【文/观察者网专栏作者 周德宇】 就在9月3日,美国三大主流AI厂商(OpenAI、Anthropi...
青岛锐捷申请变压器振荡消除电路... 国家知识产权局信息显示,青岛锐捷智能仪器有限公司、青岛锐捷智能装备有限公司申请一项名为“一种变压器的...
科普涨知识|电脑蓝屏了怎么办?... 电脑突然蓝屏,很多人慌了神,直接强制重启。其实蓝屏界面上的错误代码是排查问题的关键线索,花十秒钟记下...
官宣:我国空间站天宫课堂·港澳... IT之家 9 月 6 日消息,香港特别行政区政府昨日宣布,我国空间站天宫课堂 · 港澳专场太空授课活...
原创 不... 2015年,卡西尼号探测器在探测土星的卫星土卫二时,拍摄下了一段令人震撼的影像。在这段影像中,可以清...