文 |姑苏九歌

编辑 |姑苏九歌

AI圈有点意思，前两年还在比谁家模型参数多、算力堆得狠，今年突然风向变了，大家不聊"云端巨无霸"了，转头都在琢磨"端侧小钢炮"。

说白了就是，以前智能都靠远程服务器撑着，现在要把脑子塞进手机、家电这些小设备里。

这转变不是拍脑袋来的，前几年GPT系列火的时候，行业有点走火入魔，参数从1750亿一路飙到万亿，H100芯片堆成山。

但实际用起来问题不少，智能音箱反应慢半拍，自动驾驶遇到突发情况还得等云端指令，隐私数据存在云端也让人不踏实。

前几年那种"参数竞赛"有点像小学生比谁铅笔盒里笔多，看着热闹，实际用起来未必顺手。

云端AI就像个住得老远的学霸，你问个问题得等他慢悠悠走过来，路上还可能堵车，这就是延迟。

更麻烦的是成本，养这么个学霸电费贵得吓人，数据中心每秒几万美金电费，谁家也扛不住长期这么造。

AI为什么要"瘦身"？

地缘政治也添了把火，数据跨境流动越来越严，很多国家要求敏感数据本地处理，云端那种"把全世界数据汇总到一个中心"的模式，慢慢玩不转了。

这时候端侧AI的好处就显出来了，数据在本地设备上处理，又快又安全，还不用给云端交"电费"。

端侧AI不是新鲜词，但以前一直受限于硬件。

一个700亿参数的模型得140GB显存，手机那点内存才多少？这就像想把国家图书馆塞进公文包，根本不可能。

所以前两年大家只能依赖云端，不是不想本地化，是实在没条件。

今年情况不一样了，技术上有了突破。

行业里喊出"算力不可能三角"，模型聪明、反应快、耗电少，以前觉得这三点只能占俩，现在居然找到平衡的法子了。

具体咋做到的？得从算法和芯片两方面说。

端侧AI怎么突破物理极限？

算法上有三把"瘦身刀"，第一把叫知识蒸馏，听着玄乎，其实就是把大模型的本事教给小模型。

好比让学霸把百万字的教材浓缩成几十页的笔记，精华一点没丢，体积小了几十倍。

现在0.5亿参数的小模型，在特定任务上效果能逼近百亿参数的大模型，就是靠这个。

第二把是极致量化，以前模型数据用FP32格式，现在压缩到INT4，精度损失不大，体积直接砍到四分之一。

就像把高清视频转成标清，看着差不多，占的空间少多了。

第三把是结构剪枝，神经网络里有些连接其实没啥用，就像树上的枯枝，剪掉反而长得更好，模型反应还能变快。

光靠算法减肥还不够，芯片也得跟着变。

以前的芯片都是冯·诺依曼架构，计算和存储分开，算个东西得来回调数据，就像厨师炒菜，每放一种调料都得跑去菜市场买，效率低得要命。

现在流行存算一体化，把计算单元和存储单元放一起，相当于把厨房和冰箱建在一个屋里，拿调料顺手就来。

还有个新思路叫算子硬化，就是把常用的算法模块直接刻在芯片上。

比如AI里常用的Attention机制，以前得靠软件算，现在直接在硅片上做好专用电路，速度快还省电。

这就像把常用的公式提前写在计算器按键上，不用每次都手动输入了。

云知声他们就搞这个，在特定领域效果特别好。

本来想通用AI能包打天下，但后来发现，医疗诊断这种活儿，还得"专科医生"才靠谱。

大模型老犯"幻觉"，一本正经地胡说八道，这在诊断病情时可要命。

工业控制更严格，差一点都可能出事故，通用模型那点精度根本不够看。

所以今年行业开始转向专用AI，就像培养特种兵，不求啥都会，但特定任务必须顶尖。

商汤医疗搞了个平台化策略，针对不同病种开发专用模型，流水线生产，效率高还精准。

云知声更绝，先在垂直领域深耕，赚了钱再反哺基础研究，形成闭环。

实际测试里，专用模型在特定任务上的表现，比通用模型强得多。

这事儿往深了想挺有意义，端侧AI让智能变便宜了，几十块的芯片就能有逻辑推理能力，以前想都不敢想。

以后家里的冰箱能自己判断食物新鲜度，工厂的传感器能预测设备故障，这些不是靠云端远程指挥，而是每个设备都有自己的"小脑子"。

智能这么一分散，就像水慢慢渗透到生活的各个角落，不张扬但实实在在改变着什么。

这可能就是技术该有的样子，不是造个高高在上的"超级大脑"供着，而是让每个小物件都变得聪明一点，让普通人用得起、用得方便。

说到底，AI架构的这场转变，不是谁拍脑袋决定的，是技术瓶颈逼出来的，也是实际需求喊出来的。

从云端集中到端侧分布，智能正在变得更实在、更普惠。

未来的AI圈，可能不再比谁的模型大，而是比谁能把聪明才智塞进最小的芯片里，让最多的人用上，这大概就是智能时代真正该有的样子吧。