“全球最小 AI 超算”问世：300 克、190 TOPS 算力，可本地运行 120B 模型

IT之家 12 月 11 日消息，科技媒体 Wccftech 昨日（12 月 10 日）发布博文，报道称初创公司 Tiiny AI 发布号称全球最小的 AI 超级计算机 Tiiny AI Pocket Lab，仅重 300 克，尺寸如手掌大小，却搭载了 ARMv9.2 12 核 CPU 和 80GB LPDDR5X 内存，算力达 190 TOPS。

IT之家援引博文介绍，该计算机尺寸仅为 14.2 × 8 × 2.53 厘米，重量约为 300 克，用户可轻松将其置于掌中。尽管体积小巧，Tiiny AI 声称该设备能成功部署 1200 亿（120B）参数的模型，这在同类设备中尚属首创。

该设备支持的大语言模型（LLM）据称能完美处理“博士级推理、多步骤分析和深度上下文理解”任务，搭载了最新的 ARMv9.2 12 核 CPU，并通过定制的异构模块（SoC + 独立 NPU）提供约 190 TOPS 的 AI 算力。

为了支撑庞大的模型运行，该设备配备了高达 80GB 的 LPDDR5X 内存和 1TB SSD 存储空间。这种大容量内存配置让用户可以启用激进的量化技术，从而在本地环境中流畅运行 120B 模型。此外，该设备功耗控制出色，TDP 为 30W，典型系统功耗约为 65W。

Tiiny 为了在如此紧凑的设备上实用化 120B 模型，采用了两项核心技术。首先是 TurboSparse，这是一种神经元级别的稀疏激活技术，能在保持模型完整智能的同时显著提高推理效率。

其次是 PowerInfer，这是一个拥有超过 8000 颗 GitHub 星标的开源异构推理引擎，它能通过动态分配 CPU 和 NPU 之间的计算任务来加速繁重的 LLM 工作负载。

在软件生态方面，AI Pocket Lab 支持一键部署 GPT-OSS、Llama、Qwen、DeepSeek、Mistral 和 Phi 等数十种主流开源模型及代理框架，无需依赖互联网或云端，支持完全离线操作。Tiiny AI 确认将在 CES 2026 上正式展示该设备。