阿里推出最新通义千问QwQ-32B推理模型,1/20参数媲美DeepSeek R1
创始人
2025-03-06 09:40:31
0次

3 月 6 日消息,研究表明,强化学习可以显著提高模型的推理能力,例如 DeepSeek-R1 通过整合冷启动数据和多阶段训练,实现了最先进的性能,使其能够进行深度思考和复杂推理。

阿里云通义千问官方今日宣布推出最新的推理模型 QwQ-32B。这是一款拥有 320 亿参数的模型,其性能可与具备 6710 亿参数(其中 370 亿被激活)的 DeepSeek-R1 媲美。

这一成果凸显了将强化学习应用于经过大规模预训练的强大基础模型的有效性。此外,我们还在推理模型中集成了与 Agent 相关的能力,使其能够在使用工具的同时进行批判性思考,并根据环境反馈调整推理过程。

目前,QwQ-32B 已在Hugging Face(https://huggingface.co/Qwen/QwQ-32B) 和 ModelScope (https://modelscope.cn/models/Qwen/QwQ-32B) 开源,并采用了 Apache 2.0 开源协议。提醒,用户也可以通过 Qwen Chat(https://chat.qwen.ai/?models=Qwen2.5-Plus)直接进行体验。

性能方面,阿里云对 QwQ-32B 测试了数学推理、编程能力和通用能力,并展示了 QwQ-32B 与其他领先模型的性能对比,包括 DeepSeek-R1-Distilled-Qwen-32B、DeepSeek-R1-Distilled-Llama-70B、o1-mini 以及原始的 DeepSeek-R1。

在测试数学能力的 AIME24 评测集上,以及评估代码能力的 LiveCodeBench 中,千问 QwQ-32B 表现与 DeepSeek-R1 相当,远胜于 o1-mini 及相同尺寸的 R1 蒸馏模型;在由 meta 首席科学家杨立昆领衔的“最难 LLMs 评测榜” LiveBench、谷歌等提出的指令遵循能力 IFeval 评测集、由加州大学伯克利分校等提出的评估准确调用函数或工具方面的 BFCL 测试中,千问 QwQ-32B 的得分均超越了 DeepSeek- R1。

阿里云表示,这是 Qwen 在大规模强化学习(RL)以增强推理能力方面的第一步。通过这一旅程,不仅见证了扩展 RL 的巨大潜力,还认识到预训练语言模型中尚未开发的可能性。

在致力于开发下一代 Qwen 的过程中,阿里云计划将更强大的基础模型与依托规模化计算资源的 RL 相结合,从而使其更接近实现人工通用智能(AGI)。此外,阿里云正积极探索将智能体与 RL 集成,以实现长时推理,目标是通过推理时间扩展来释放更高的智能,敬请期待。

相关内容

热门资讯

今日重大通报辅助器!丁丁娱乐辅... 今日重大通报辅助器!丁丁娱乐辅助器多功能AI教程,丁丁娱乐其实真的有辅助器教程丁丁娱乐透视方法中分为...
热点讨论透视器!青岛大厅透视器... 热点讨论透视器!青岛大厅透视器多功能AI插件,青岛大厅竟然是有透视器插件青岛大厅脚本下载中分为三种模...
盘点十款外挂!大大娱乐外挂多功... 盘点十款外挂!大大娱乐外挂多功能AI方法,大大娱乐一贯是有外挂方法;1)大大娱乐有没有挂:进一步探索...
揭秘真相开挂!伊洛互娱开挂多功... 揭秘真相开挂!伊洛互娱开挂多功能AI教程,伊洛互娱确实真的是有开挂教程1)伊洛互娱免费钻石:进一步探...
重大推荐辅助器!蜜瓜大厅辅助器... 重大推荐辅助器!蜜瓜大厅辅助器多功能AIapp,蜜瓜大厅一贯真的有辅助器app1、在蜜瓜大厅插件功能...
一秒答解透视器!龙鼎大厅透视器... 一秒答解透视器!龙鼎大厅透视器多功能AI软件,龙鼎大厅总是是真的有透视器软件该软件可以轻松地帮助玩家...
分享认知透视挂!千秋互娱透视挂... 分享认知透视挂!千秋互娱透视挂多功能AI工具,千秋互娱本来是有透视挂工具1、在千秋互娱插件功能辅助器...
重大科普透视器!传奇互娱透视器... 重大科普透视器!传奇互娱透视器多功能AI技巧,传奇互娱竟然存在有透视器技巧1、每一步都需要思考,不同...
揭秘攻略透视挂!新天地透视挂多... 揭秘攻略透视挂!新天地透视挂多功能AI技巧,新天地原来真的是有透视挂技巧1、不需要AI权限,帮助你快...
普及知识作弊器!传奇互娱作弊器... 普及知识作弊器!传奇互娱作弊器多功能AI技巧,传奇互娱都是存在有作弊器技巧1、传奇互娱破解器简单,传...