爱芯元智在 10 月 13 日的中国国际工业博览会上发布 AX8860 大算力边端 AI 芯片系列，同步推出元曦模组 A256S，并展示元曦系列推理卡与推理服务器。公司把应用指向智能制造、仓储物流与机器人等场景：这类系统需要把多路视觉输入与模型推理放到接近设备的位置，而现场实时响应能不能做到，取决于整条感知、推理与控制链路。
爱芯元智AX8860 系列发布现场
图片来源：爱芯元智
按爱芯元智公布的数据，AX8860 采用 6nm 工艺，提供 256 TOPS 混合精度算力并原生支持 FP4，内存带宽 273 GB/s，单芯片最高配 128 GB LPDDR5X；视频侧支持 64 路解码与 16 路编码，互联侧支持 AXLink 级联与 PCIe 5.0。产品形态上，A256S 把芯片与内存做成模块，客户在其上开发底板即可推出整机，并支持 LLM、VLM 与 Omni 等多类模型；推理卡与推理服务器则覆盖单芯、双芯到四芯的配置。软件侧提供 vLLM、SGLang 与 PyTorch 支持、兼容 OpenAI API 的服务接口，以及覆盖量化、转换、编译、Profiling 与调试的工具链。
这些参数落到工业现场，对应三件需要分别看的事。第一是模型能不能装下：现场要跑多模态模型，输入变长、并发任务变多都会推高内存占用，128 GB 的容量决定模型完整部署之后还能剩下多少运行余量。第二是数据供不供得上：大模型逐 token 生成时，内存带宽不足会让算力闲置，273 GB/s 是这方面的下限约束。第三是精度压缩是否可用：FP4 能减少内存占用与数据搬运，但用在缺陷识别与装配这类任务上，需要先确认压缩之后精度是否仍然够。
工博会现场，合作伙伴原力灵机用自研的 DM0.5 通用具身大脑展示了接口插拔质检、通用工业插入与灵巧手柔性切削三个任务，模型推理在该平台上完成。
这次发布把芯片、模组、推理卡与推理服务器同时摆进边端部署链条，工程选型时除了峰值算力，还要在固定模型、输入路数、量化精度与环境温度下比较端到端时延、每瓦性能、内存占用与掉电恢复。TOPS 是特定精度下的峰值指标，现场能跑到多少，还要看模型结构、输入路数与量化方式。
“掌”握科技鲜闻 （微信搜索techsina或扫描左侧二维码关注）
