冷静文论道:大模型未来需芯片、系统厂商携手共进
创始人
2025-05-01 12:20:23
0

近期,上海交通大学与AI Infra领域的创新企业魔形智能携手,在国际高性能计算机架构研讨会HPCA 2025上发表了一篇题为《VQ-LLM: 高性能向量量化增强的大语言模型推理代码生成》的论文。该研究提出了一种名为VQ-LLM的框架,通过引入分层代码本缓存和代码本中心计算引擎两大创新技术,实现了超过50%的推理延迟降低,性能超越了传统逐元素量化方法。

VQ-LLM框架的成功,为向量量化技术在大语言模型中的实际应用提供了切实可行的方案。在保持模型高精度的同时,显著提升了推理效率。这一突破不仅解决了大模型计算量大、存储空间需求高的难题,还为向量量化技术的未来发展开辟了新的道路。

上海交通大学计算机科学与工程系教授冷静文是此次论文工作的主要负责人。冷静文教授自2010年从上海交通大学获得学士学位后,于2016年在德州大学奥斯汀分校获得电子与计算机工程系博士学位,专攻GPU处理器体系结构优化。目前,冷静文教授及其团队的研究兴趣集中在芯片架构和硬件互联方面,特别是数据流芯片设计和超节点高速互联域的硬件设计。

在谈到此次与魔形智能的合作时,冷静文教授表示,大模型压缩是当前热门的研究方向,但传统的单元素量化方法存在局限性。向量量化技术通过挖掘元素间的相关性,能够实现更高效的压缩,同时保持模型的精度。此次合作将向量量化技术应用于大语言模型,取得了显著的成果。

冷静文教授还分享了团队在数据流芯片研究方面的进展。他认为,当前GPU的红利已经接近尾声,未来芯片的架构和编程方法需要新的思考。数据流芯片作为一种创新的架构,有望解决当前芯片设计中的一些瓶颈问题。冷静文教授及其团队正在致力于构建数据流芯片的抽象模型和编程语言,以降低学习成本并推动其广泛应用。

在谈到国产芯片的发展时,冷静文教授表示,国产芯片厂商需要摆脱对英伟达等国外厂商的依赖,进行原创性思考。他认为,国产芯片厂商应该注重生态的构建,同时解决高带宽内存设计等问题。冷静文教授还提到了英伟达H20芯片出口受限对国内的影响,并建议国内芯片厂商考虑采用CXL互联方式或3D堆叠芯片等技术来缓解HBM的需求。

冷静文教授还分享了团队在大型模型优化方面的经验。他认为,系统的优化方法可以指导大模型的设计,特别是需要找到系统当前的瓶颈并结合模型的特点进行联合设计。冷静文教授还提到了NSA等前沿工作,认为这些工作为模型设计带来了新的思考,即将效率优先的原则带入到模型结构中去。

在谈到向量量化技术的未来应用时,冷静文教授表示,目前向量量化主要用于推理阶段,但未来可以考虑将其与训练过程相结合,以实现更高效的模型压缩和加速。冷静文教授还提到了DeepSeek等前沿工作对大模型量化的挑战和机遇,认为这些工作为向量量化技术提供了新的思路和方法。

冷静文教授及其团队的研究成果不仅在学术界引起了广泛关注,也在行业内产生了深远影响。目前,论文中提出的VQ-LLM框架已经正在被相关产品所采用,为推动大语言模型的广泛应用和性能提升做出了重要贡献。

冷静文教授还强调了芯片、系统和模型厂商之间的协同合作对于推动大模型进一步发展的重要性。他认为,在新的模型架构设计、模型小型化和轻量化等方面,芯片、系统和模型厂商可以发挥各自所长,共同推动大模型的广泛应用和性能提升。

相关内容

热门资讯

地球生命起源有新解 或诞生于水... 王信强 斯坦福大学的一项研究显示,生命可能起源于水滴中的“微闪电”。也就是说,构成地球生命的第一个分...
优刻得与数道智算达成智算中心战... 近日,优刻得与智能计算领域创新企业北京数道智算科技有限公司(下称:数道智算)正式签署战略合作协议,双...
马化腾三大战略揭秘:从差点卖 ... 文 / 大力财经 作者 / 魏力 站在AI 时代的十字路口回望,腾讯的成功绝不是偶然。从 QQ 到微...
游戏ios系统管理:便宜好用且... **一、云手机在游戏群控管理中的重要性** 在当今的游戏世界里,特别是对于那些需要多账号操作或者...
局域网监控软件哪家好?5款高端... 你是否遇到过这样的烦恼: 公司网络突然变慢,却找不到原因? 员工上班时间刷视频、打游戏,工作效率低下...
魔法原子举办2025场景战略发... 3月26日,魔法原子举办「原子双生」2025场景战略发布会,正式推出人形机器人和四足机器人,并首次推...
西湖大学开发出精准定位脑疾病细... 2025-03-20 08:41:52 作者:狼叫兽 近日,西湖大学杨剑教授团队在脑疾病研究领域...
时隔两月半,微信内测爆更! 在多个新功能灰度放量后,微信官方终于发布了新版本更新。 就在昨晚(3 月 10 日), 微信安卓平台...
学而思“上新”,学习机的“参数... 来源:雪豹财经社 在小红书上,“学习机哪个牌子好用推荐”的相关笔记超过130万篇。面对市面上大量同质...
《世界是平的》作者再刊文:没有... 托马斯·L·弗里德曼是美国《纽约时报》外交事务观点专栏作家,也是三次普利策奖的获得者,著有《世界是平...