“全球最小AI超算”问世:300克、190TOPS算力
创始人
2025-12-11 21:00:49
0次

12 月 11 日消息,科技媒体 Wccftech 昨日(12 月 10 日)发布博文,报道称初创公司 Tiiny AI 发布号称全球最小的 AI 超级计算机 Tiiny AI Pocket Lab,仅重 300 克,尺寸如手掌大小,却搭载了 ARMv9.2 12 核 CPU 和 80GB LPDDR5X 内存,算力达 190 TOPS。

IT之家援引博文介绍,该计算机尺寸仅为 14.2 × 8 × 2.53 厘米,重量约为 300 克,用户可轻松将其置于掌中。尽管体积小巧,Tiiny AI 声称该设备能成功部署 1200 亿(120B)参数的模型,这在同类设备中尚属首创。

该设备支持的大语言模型(LLM)据称能完美处理“博士级推理、多步骤分析和深度上下文理解”任务,搭载了最新的 ARMv9.2 12 核 CPU,并通过定制的异构模块(SoC + 独立 NPU)提供约 190 TOPS 的 AI 算力。

为了支撑庞大的模型运行,该设备配备了高达 80GB 的 LPDDR5X 内存和 1TB SSD 存储空间。这种大容量内存配置让用户可以启用激进的量化技术,从而在本地环境中流畅运行 120B 模型。此外,该设备功耗控制出色,TDP 为 30W,典型系统功耗约为 65W。

Tiiny 为了在如此紧凑的设备上实用化 120B 模型,采用了两项核心技术。首先是 TurboSparse,这是一种神经元级别的稀疏激活技术,能在保持模型完整智能的同时显著提高推理效率。

其次是 PowerInfer,这是一个拥有超过 8000 颗 GitHub 星标的开源异构推理引擎,它能通过动态分配 CPU 和 NPU 之间的计算任务来加速繁重的 LLM 工作负载。

在软件生态方面,AI Pocket Lab 支持一键部署 GPT-OSS、Llama、Qwen、DeepSeek、Mistral 和 Phi 等数十种主流开源模型及代理框架,无需依赖互联网或云端,支持完全离线操作。Tiiny AI 确认将在 CES 2026 上正式展示该设备。

【来源:IT之家】

相关内容

热门资讯

热点推荐辅助器!龙鼎大厅辅助器... 热点推荐辅助器!龙鼎大厅辅助器多功能AI软件,龙鼎大厅一贯真的是有辅助器软件进入游戏-大厅左侧-新手...
热点推荐透视器!龙鼎大厅透视器... 热点推荐透视器!龙鼎大厅透视器多功能AI软件,龙鼎大厅本来真的是有透视器软件暗藏猫腻,小编详细说明龙...
重大消息透视器!娱乐麻将透视器... 重大消息透视器!娱乐麻将透视器多功能AI工具,娱乐麻将真是真的有透视器工具1、不需要AI权限,帮助你...
玩家必用透视器!忠乐大厅透视器... 玩家必用透视器!忠乐大厅透视器多功能AI技巧,忠乐大厅切实是真的有透视器技巧1、进入到忠乐大厅是否有...
今日公布开挂!讲排场大厅开挂多... 今日公布开挂!讲排场大厅开挂多功能AI软件,讲排场大厅都是存在有开挂软件1、金币登录送、破产送、升级...
我来教大家透视器!四通娱乐3透... 我来教大家透视器!四通娱乐3透视器多功能AIapp,四通娱乐3真是真的是有透视器app进入游戏-大厅...
程序员教你透视挂!圣游大厅透视... 程序员教你透视挂!圣游大厅透视挂多功能AI教程,圣游大厅本来是真的有透视挂教程1、每一步都需要思考,...
一分钟了解开挂!红莲开挂多功能... 一分钟了解开挂!红莲开挂多功能AI脚本,红莲果然是有开挂脚本1、完成红莲有辅助插件,帮助玩家取得所有...
今日重大通报透视挂!魔龙透视挂... 您好,魔龙这款游戏可以开挂的,确实是有挂的,需要了解加去威信【136704302】很多玩家在这款游戏...
每日必看推荐开挂!九酷众娱开挂... 每日必看推荐开挂!九酷众娱开挂多功能AIapp,九酷众娱其实真的有开挂app1、操作简单,无需九酷众...