WAIC2024：蚂蚁集团发布大模型密算平台，实现数据密态流转|推理_新浪财经

来源：环球网

【环球网科技报道记者李文瑶】7月6日消息，在2024年世界人工智能大会上，蚂蚁集团宣布发布“隐语Cloud”大模型密算平台，通过软硬件结合的可信隐私计算技术，在大模型托管和大模型推理等环节实现数据密态流转，保护模型资产、数据安全和用户隐私。

在发布现场，蚂蚁密算CEO王磊介绍，“隐语Cloud”大模型密算平台首批推出两大服务，分别为大模型密态托管和大模型密态推理。大模型密态托管，指模型提供方可以将模型加密后托管在平台上，一键完成云上密态部署，保护模型资产不被泄漏和盗用；大模型密态推理，是指数据以密态形式完成推理，保护用户交互时的数据安全、商业机密等。

此外，该平台支持GPU在可信执行环境下进行计算，使得大模型推理在密态形式下的响应时间和使用效率与明文大模型接近，实现大规模商业可用。在安全保障上，该产品利用内存、磁盘加密等方法，实现用户访问的端到端加密和托管模型的跨域访问控制。在易用性上，产品支持轻量化远程认证，用户在网页访问时就可以完成远程认证，不需要额外的操作步骤。

当下，大模型在垂直行业应用时，许多企业通过私有化部署来应对数据安全挑战，这不仅增加企业的运维和服务成本，也影响对外服务的效率和质量。对行业的发展来说，私有化方案不利于多方数据跨领域、跨行业高效融合，无法进一步激发大模型的能力。

据介绍，隐语Cloud”大模型密算平台提供公有云和专有云交付方案，支持市面上主流的通用大模型。以公有云为例，无论用户重新构建新的垂直大模型，或者将已有的大模型重新部署在该平台，只需一键部署和接入，比如10分钟即可完成高可用推理服务的发布。在使用过程中，用户按需获取密态算力，即开即得。

王磊透露，隐语Cloud大模型密算平台的服务，将逐步覆盖到垂直大模型从构建到对外服务的全链路数据安全。“接下来，我们将为垂直大模型从预训练、微调、评测、推理到用户交互的全程提供密态计算服务，在大模型提供方、数据提供方、大模型使用方等之间实现数据可信安全流转。平台还将提供密态大模型开发所需的全链路工具，提供的服务包括密态检索增强生成、密态提示词、Agent流程编排等。”

蚂蚁集团副总裁兼首席技术安全官、蚂蚁密算董事长韦韬认为，数据供给决定了大模型应用能力的上限，而隐私计算技术决定了数据跨域供给的上限。当大模型从通用走向专业应用，从技术想象力走向产业的生产力，必须要解决高质量数据集稀缺与专业数据阻滞的挑战，否则大模型作为“智力引擎”，只会陷入空转。今后，高价值数据要深度融合，一定需要以密态方式进行安全流转。

韦韬表示，蚂蚁集团从2016年开始探索隐私计算技术，能力涵盖了全栈可信技术、多方安全计算、联邦学习、同态加密、差分隐私、机密计算等隐私计算全谱技术域。“我们希望联合产业合作伙伴，把蚂蚁集团多年来在密态计算技术上的探索和创新，以开源和产品化的形式对外开放，助力推动产业向前发展，为实体经济和中小微企业创造新的价值，让数据价值的流动像自来水一样即开即用。”

目前，蚂蚁可信隐私计算的核心技术已全部开源，包括“隐语”可信隐私计算框架、“星绽”可信执行环境操作系统Occlum等。此外，参与制定了60多项国内外隐私计算技术标准，其中主导了9项国际标准。蚂蚁还与超过50所国内外高校紧密合作，并且与中国计算机学会联合设立了“隐私计算专项科研基金”。

今年5月底，蚂蚁集团对外公布了以人工智能和数据要素技术为核心的科技战略，随后成立了独立运营的密态计算公司——浙江蚂蚁密算科技有限公司，将提供密算相关的产品和服务，包括一套端到端的数据安全保障、一套软硬件结合的计算加速解决方案和一个隐私计算云服务平台，推动数据安全可信的跨云跨端低成本流通。