万物共芯 · 生生不息——端侧AI开发者实践工作坊精彩收官

2025年12月12日 14:20:54

近日，由魔搭社区、Arm、安谋科技与此芯科技联合举办的「万物共芯·生生不息——端侧AI开发者实践工作坊」在上海成功举办。本次活动作为此芯科技2025生态大会的分会场，围绕高能效异构算力在端侧大模型场景的深度赋能展开，吸引了众多开发者到场体验。

开发者实践工作坊现场

本次工作坊重点展示了基于此芯P1平台，结合Armv9 CPU、Arm Immortalis GPU、“周易”NPU以及Arm KleidiAI软件栈的全链路协同能力。现场更完成了Qwen30B-A3B大模型与Qwen2.5VL（3B/7B）多模态模型的完整端侧部署，为开发者带来了真实的「手搓大模型」实战体验。

软硬协同：此芯P1+Arm KleidiAI加速端侧大模型落地

此芯科技AI软件栈

为降低端侧AI开发门槛、加速模型落地，工作坊基于此芯P1高能效算力平台，针对大模型推理展示了异构算力的分工、调度与加速策略。通过Arm KleidiAI、此芯NOE SDK的深度协同，现场展示了显著的性能提升：

• Qwen3-30B-A3B在端侧的流畅输出
• Qwen2.5-VL-3B/7B的图文理解与多模态推理性能

这一系列演示充分验证了端侧大模型从“可用”到“好用”的关键技术路径。

深度解析：大模型上板挑战与优化秘籍

此芯科技AI技术专家 田洋

此芯科技AI技术专家田洋为开发者带来主题分享，内容涵盖：

• 大模型在端侧部署的典型挑战
• 此芯P1在CPU/GPU/NPU的异构调度策略
• 大模型量化、算子拆分与高效Pipeline构建
• 多模态模型在端侧的性能优化
• 如何通过Arm KleidiAI和此芯NOE SDK最大化地释放硬件潜能

田洋基于“瑞莎星睿O6”开发套件进行现场演示，从模型准备、适配到推理全流程拆解，为现场开发者提供可复用的方法论与实践经验。

开发者实战：亲手部署QWEN大模型

开发者实战演练

在90分钟的深度实操环节，开发者亲身体验了：

• Qwen3-30B-A3B的端侧部署与交互对话
• Qwen2.5-VL-3B/7B的图文推理
• 基于此芯P1构建大模型应用的完整流程

在实际体验中，开发者普遍反馈：

• 性能超出预期，推理运行流畅
• NPU+GPU协同调度高效“丝滑”
• Qwen 3B和7B多模态在端侧响应迅速，体验“顺手”

三位来自不同领域的开发者结合自身实践，分享了他们的感受：

开发者代表在现场分享开发实践体验

边缘AI开发者EPT：

“有幸参加此芯科技的线下工作坊，在搭载此芯P1的瑞莎星睿O6上运行Qwen3模型推理，体验非常优秀。借助此芯强大的算力和完整生态，可以把Model Hub中优化后的大模型直接部署到边缘陪伴玩具等场景，为离线部署定制化角色扮演机器人提供了很大支持。”

视觉AI工程师YC：

“我们要在端侧做多模态模型，用视觉做二次校验，减少误报，比如火焰检测。纯CV方法在光照、反光等情况下误检太多，多模态大模型可以有效减少误报。今天测试下来，这种二次检验非常适合在端侧落地，也开始认真考虑采用此芯的方案。”

独立开发者H：

“我是独立开发者，有做过离线会议系统。在本地跑大模型做会议纪要时，经常遇到速度慢、上下文越长越卡、显存不够的问题。今天现场体验此芯的SoC方案，生成速度顺畅稳定，效果非常惊喜。这次实践工作坊收获非常大，非常感谢主办方！”

本次工作坊不仅展示了异构计算在大模型部署中的巨大潜力，也验证了端侧AI在真实产品落地中的可行路径。此芯科技将继续推动高能效算力平台的研发，并与魔搭社区、Arm、安谋科技及更多生态伙伴携手，加速端侧智能的创新与规模化落地。