颠覆!NVIDIA发明新技术KVTC:内存使用量缩减20倍
创始人
2026-03-23 13:44:20
0次

快科技3月22日消息,NVIDIA研究人员推出一项全新技术KVTC(KV快取转换编码),能把大型语言模型(LLM)追踪对话历史的内存用量,最高缩减20倍,而且不用修改模型本身。

这一突破有望解决大型语言模型长对话推理时的内存不够用问题,大大降低企业使用AI的硬件成本,同时还能把模型首次生成回应的时间,最高提速8倍。

简单来说,KVTC技术的核心就是压缩大型语言模型背后的KV缓存——它相当于AI模型的“短期记忆”。我们可以把KV缓存理解成学生记笔记:模型处理对话时,会把关键信息(也就是Key和Value)记下来,下次生成回应时,不用从头重新计算整段对话,响应速度就能大幅提升。

但问题是,对话越长,这份“笔记”就越大,甚至会膨胀到几个GB,占用大量GPU内存,反而拖慢模型运行、限制其处理能力。

NVIDIA资深深度学习工程师Adrian Lancucki表示:“大型语言模型进行推论时,性能瓶颈往往不在运算能力,而在GPU内存。”那些暂时不用的KV缓存,会一直占用宝贵的GPU资源,逼得系统只能把它们转移到CPU内存或硬盘里,这样不仅会增加数据传输的负担,还可能出现新的卡顿问题,这些额外成本最终也会体现在企业的使用费用中。

和现有压缩技术相比,KVTC没有那些明显的局限,它借鉴了我们熟悉的JPEG图片压缩思路,通过“主成分分析、自适应量化、熵编码”三个简单步骤,就能实现高效压缩。

更方便的是,这项技术不用改动模型的核心设置和代码,属于“非侵入式”设计,企业拿来就能快速部署。它的核心优势是,能抓住KV缓存“数据高度相关”的特点,在保留关键信息的同时,去掉冗余数据,而且解压时可以分块、逐层进行,不会影响模型实时回应。

多轮测试显示,KVTC的表现远超现有主流方法。在参数量从15亿到700亿的多种模型(包括Llama 3系列、R1-Qwen 2.5等)上,即便将内存压缩20倍,模型准确率也几乎不受影响,损失不到1%,与未压缩时相差无几;而传统压缩方法仅压缩5倍,就会出现明显的准确率下降。

另外,在H100 GPU上处理8000个Token的提示时,不使用KVTC需要3秒才能生成第一个回应,使用后仅需380毫秒,提速整整8倍。

需要注意的是,KVTC更适合长对话、多轮互动场景,比如编程助手、迭代式代理推理等,若对话较短,很难发挥其压缩价值。

目前,NVIDIA正计划将这项技术整合进Dynamo框架的KV块管理器,使其能与vLLM等主流开源推论引擎兼容。

业内人士认为,随着大型语言模型可处理的对话长度不断增加,KVTC这类标准化压缩技术,未来可能会像视频压缩一样普及,助力AI更广泛地落地应用。

相关内容

热门资讯

玩家必看科普开挂!星驰互娱开挂... 玩家必看科普开挂!星驰互娱开挂多功能AI方法,星驰互娱都是真的有开挂方法1、星驰互娱免费脚本咨询教程...
记者发布辅助!星狮娱乐辅助多功... 记者发布辅助!星狮娱乐辅助多功能AIapp,星狮娱乐总是是真的有辅助app该软件可以轻松地帮助玩家将...
最新研发透视挂!东游大厅透视挂... 您好,东游大厅这款游戏可以开挂的,确实是有挂的,需要了解加去威信【136704302】很多玩家在这款...
玩家交流透视器!炫酷娱乐透视器... 玩家交流透视器!炫酷娱乐透视器多功能AI插件,炫酷娱乐竟然真的有透视器插件1、进入到炫酷娱乐是否有挂...
每日必备辅助器!玄灵大厅辅助器... 每日必备辅助器!玄灵大厅辅助器多功能AI软件,玄灵大厅切实是有辅助器软件1、操作简单,无需玄灵大厅手...
交流学习经验辅助!多多娱乐辅助... 交流学习经验辅助!多多娱乐辅助多功能AI技巧,多多娱乐都是真的是有辅助技巧1)多多娱乐有没有挂:进一...
一秒答解开挂!泡泡互娱开挂多功... 一秒答解开挂!泡泡互娱开挂多功能AI脚本,泡泡互娱切实有开挂脚本1、在泡泡互娱插件功能辅助器技巧中,...
研究成果辅助器!椰子大厅辅助器... 研究成果辅助器!椰子大厅辅助器多功能AI攻略,椰子大厅都是存在有辅助器攻略暗藏猫腻,小编详细说明椰子...
发现一款辅助器!金鸡娱乐辅助器... 发现一款辅助器!金鸡娱乐辅助器多功能AI攻略,金鸡娱乐总是存在有辅助器攻略一、金鸡娱乐游戏安装教程牌...
盘点一款开挂!讲排场大厅开挂多... 盘点一款开挂!讲排场大厅开挂多功能AI软件,讲排场大厅切实是真的有开挂软件1、进入到讲排场大厅是否有...