Apple Intelligence？Apple又要重新定义AI了？

本文引用地址：

又是一年一度的WWDC，而笔者也要来和各位一起分析一下，今年的WWDC苹果又整出了什么“新活儿”。今年的WWDC长达一个半小时，主题和之前大众猜测的一致，就是AI、AI、AI还是AI，从iPhone、iPad到Mac，无不被生成式AI覆盖。横空出世的Apple Intelligence，让苹果全系产品有了史诗级升级。但是，有趣的是，Apple的AI并不是传统意义上的“Artificial Intelligence”，而是Apple自身重新定义了一个“Apple Intelligence”。我们都知道，Apple一向擅长“定义”，从改变世界的“重新发明手机”到最近的Apple Vision Pro的“空间计算设备”。那么这一次，所谓的“苹果牌AI”带给我们的是惊喜还是惊吓呢？

对于Apple来说，AI的隐私安全是贯穿始终的重点，因此对于Apple Intelligence，Apple一直再强调这是一种部署在本地的AI，数据不会上传。因此，又是Apple的传统艺能，要想完整体验Apple Intelligence的功能，那就得！加！钱！Apple Intelligence只支持运行在以下Apple Silicon M系列芯片和A17 Pro之上，也就是说，手机端只有iPhone 15 Pro系列能够运行完整的本地Apple Intelligence功能。

了解到这点之后，我们在具体聊聊这一次的Apple Intelligence。开始我们先总结一下，Apple Intelligence主要围绕以下几点，语言、图像、操作以及个性化语言理解能力。之后也和Apple爆出的新闻一致，Siri也终于全新升级，AI 隐私功能的新标准也不会缺席，以及Apple平台整合了ChatGPT。

首先，我们来看看Apple Intelligence的语言部分。这一部分的能力就是目前各位最熟悉的大语言模型常用能力，它可以借助本地AI实现文本检验，优化重写，生成摘要信息等功能。例如，Writing Tools可以帮助用户重写、校对和总结文本，在几乎任何输入位置都可用，包括邮件、备忘录、Pages文稿和第三方App等等。Apple的本地AI的语义理解能力使得系统能够整合多种信息，并从中提取关键信息。这些关键信息可以被突出显示，甚至在锁屏界面上进行特别提醒。此外，AI还能生成自动回复，为用户提供便捷的交互体验。对于这一部分的“新能力”，笔者认为这些功能在很多大型语言模型中已经得到了实现，如GPT-3、BERT等。从这个角度来看，Apple AI的语言能力很可能给不了用户太多的“惊喜”。但换一个角度，笔者认为我们依然能小小的期待一下Apple能否发扬自己的生态优势，来给用户更好的AI体验，Apple Intelligence可能会将这些功能与苹果硬件、软件和服务紧密结合，为用户提供更加流畅、无缝的使用体验。

之后，我们再来看看Apple Intelligence的图像处理方面。同样的，这也是之前无数AI大模型早已实现的能力，从目前来看，Apple似乎巧妙地把它融入了App生态之中。全新Image Playground，使用简单，并且直接内置在信息等多款 app 中，也可以作为独立app使用，可让用户在几秒内创作出有趣的图像，而当用户使用imessage聊天之时（国内真的有人用imessage聊天吗？），聊天的时候可以快速生成的有趣的图片，而且完全可以基于当前会话内容生成。当您拍摄完成照片之时，Apple的AI也可以介入剔除画面之中您不想要的要素了。笔者不知道当您看到这些功能的时候会想到什么，估计会有不少人都会有和笔者一样的感受：“就这？”。

最后，我们再来看看Apple AI的个性化语言理解能力，这一部分的升级主要被应用于Siri之上。Siri终于可以识别设备屏幕上的内容了，而Siri的交互也变成了屏幕外边缘处亮起柔光。现在Siri能够识别屏幕上的内容，并支持跨应用交互。例如，如果在聊天中提到了一个地址，Siri可以直接将该地址添加到通讯录中相应联系人的信息里。

Siri的智能化现在能够完全基于用户个人数据和设备端信息，它可以识别设备上各种应用中提到的信息，如信息、邮件等，并综合这些信息来回答用户的问题。例如，用户无需提供任何前置信息，直接询问Siri家人的航班到达时间，Siri就能给出答案。

Siri的屏幕识别和操作能力，正是利用了苹果之前发布的ReALM技术。苹果成功开发了一个仅有80M参数的ReALM模型，它在特定AI任务处理上的效果甚至能够超越GPT-4。苹果的ReALM模型有四种不同参数规模，这些就是苹果的大模型。这确实有些令人难以置信，因为它们的参数规格只有GPT模型的几百分之一，却在某些任务上取得了更好的成绩，单说这一点，Apple AI还真能给我们一点惊喜。

让我们回到最开始的问题：Apple又要重新定义AI了？很显然，苹果并没有再续改变手机的“iPhone时刻”，纵观这次的WWDC，Apple的AI功能似乎并未带来太多创新。但是，如果我们换一个方向来看，Apple的重点似乎是将AI模型部署到本地设备之中，这一点也许在未来真的尤为重要。

与微软直接宣布的Phi-Silica不同，苹果在发布会上并未透露任何有关本地设备搭载模型的详细信息，无论是模型的型号还是参数量。尽管苹果的研究团队在今年3月14日发表的arXiv技术论文中介绍了MM1多模态大模型，但与Phi-3家族中最小的Phi-Silica仅有3B参数相比，MM1的参数量大了10倍。

现在Apple Intelligence最终选择的端侧小模型，如果不是其他未发布的研究成果，很可能是MM1大模型的缩小版，具有更小的参数规模。苹果在本次发布会上也宣布了与OpenAI的合作，因此不排除OpenAI为Apple Intelligence的端侧小模型提供了技术支持。

然而，考虑到OpenAI与英伟达的紧密合作，其技术架构必然会基于CUDA进行优化和迭代，苹果不太可能放弃使用自家投入多年研发的M系列芯片，而不是基于硬件架构和软件生态来开发自家的端侧模型。毕竟，苹果非常注重通过“软硬一体”构建的优秀体验和产品壁垒。

随着微软推出AI PC，苹果也决定在设备本地部署一个可能相对较小的模型，未来我们可以预见将有更多的端侧模型被集成到各种智能设备中。这些小模型有望满足大多数用户的需求，通过本地部署和本地计算的方式，为用户提供快速响应且无需担心算力成本的AI解决方案，这很可能是未来智能设备集成AI功能的主要趋势。

当然，端侧模型最终的效果如何，还需要通过大规模用户的真实需求来进行验证。