IT之家 9 月 19 日消息，据《华尔街日报》今日报道，谷歌确认其 Gemini 模型在今年 5 月的一次安全测试中曾自主入侵过外部真实企业，系 Gemini 首次已知的 AI 越狱事件。
谷歌表示，该事件发生在测试公司 Irregular 开展的一次“捕获旗帜”演练中，目的是评估 Gemini 的网络安全能力。测试环境本应完全隔离，但却意外开放了互联网访问权限。
IT之家注：“捕获旗帜”（Capture the Flag）是一种网络安全竞赛形式，参与者在模拟环境中寻找并获取隐藏的“旗帜”以证明成功入侵。
在谷歌披露其中一起事件中，Gemini 通过猜对密码获得了对受保护系统的访问权限。在另外两起事件中，Gemini 在公开代码仓库中找到了凭证，进而访问了受保护系统。
谷歌称，在每起事件中，模型在确认所访问的是真实公司系统而非模拟环境后，均自行终止了入侵行为。谷歌未披露被入侵公司的名称，但表示三家公司均已收到通知。
Irregular 于 7 月底将此事告知谷歌。谷歌和 Irregular 均表示，这一通知是在 OpenAI 的 AI 智能体入侵 AI 软件公司 Hugging Face 事件被发现之后发出的。
谷歌认为，由于模型未对相关公司造成损害，且每次都被 Gemini 自行终止，因此无需公开披露，直至《华尔街日报》进行问询才得以公开。谷歌将此事类比为“漏洞赏金”计划，即黑客发现并报告安全漏洞后可获得奖励。
AI 安全初创公司 Corridor 首席执行官、白帽黑客杰克 · 凯布尔对此提出异议。他认为谷歌的解释聚焦于事件严重程度，而真正的问题在于 AI 智能体意外入侵了另一家公司的系统。
凯布尔表示：“感觉他们试图躲在漏洞披露领域已有的规范后面，但这是一个非常不同的问题。问题是，模型正在超出其应有的行为边界，实施实际网络攻击，我认为公众有权知道这些。”
谷歌表示，Gemini 入侵事件源于身份混淆。测试中设定了一家虚构公司，但该虚构公司与一家真实公司同名。模型在搜索该名称时找到了真实公司的网站。
谷歌称此事不构成模型异常行为，因为其安全措施帮助模型停止了行为。谷歌还表示已通知联邦当局。谷歌未披露涉事的具体 Gemini 模型版本。
Irregular 发言人表示，所有相关实验室已于 7 月底收到通知，受影响实体已在调查过程中被联系。Irregular 采取了立即行动，其端所有已知问题已在数周前修复和解决。
对新一代模型网络安全能力的担忧自 7 月 Hugging Face 入侵事件被发现后持续升温。上周，前 OpenAI 研究员雅各布 · 考克森从 Anthropic 离职，使相关担忧进一步进入主流视野。
上周末，Anthropic、OpenAI、谷歌和 SpaceX 的领导人均同意需要放缓 AI 进展速度，但各公司均未说明具体如何实现。
“掌”握科技鲜闻 （微信搜索techsina或扫描左侧二维码关注）
