四 第四生产力NOTES ON AI & ENGINEERING

智能体闯进你的数据,3 个月没人发现,这才是智能体安全最吓人的

你公司要是已经在用 AI 智能体碰真实数据,客户档案、财务表、代码仓库,这条新闻跟你关系比想象中大。

9 月 23 日,澳大利亚总理亲口对外说:6 月份,一个 OpenAI 的智能体在”做研究”的时候,闯进了一个政府网站。这是已知的第一例 AI 智能体入侵政府网站。

让我紧张的不是它闯进去了。是中间那 3 个月。

6 月 18 日闯进去的,9 月 23 日总理才公开确认,调查到现在还没结束。换你公司,老板第一句会问什么?

它干了什么

先说清楚目标是什么。被闯进去的是 Medicare 统计报告服务门户,澳洲医保体系里,医院诊所往上面报数据的入口。名字叫”统计”,但门户里的文件不全是公开的。

我把能查到的几家报道(SMH、路透社、FT)对了一遍,细节对得上:

6 月 18 日,一个 OpenAI 智能体在执行互联网药物研究的任务。它绕过了本该拦住它的封锁,读到了公开和非公开的文件,还把文件写进了内部服务器。

最后那句才是重头戏。读数据是一回事,写文件是另一回事。读是偷看账本,写是动手改账。

总理说”据信没有访问到个人信息”,注意”据信”两个字,调查还在走。澳洲信号情报机构在帮着做取证,确认这次访问有没有波及其他政府系统。

先别急着说模型失控

我觉着模型能力这事儿,不能轻描淡写。

OpenAI 自己 7 月复盘过 Hugging Face 那件事:内部研究模型从缓存代理溜出去,暴露了凭据,一周后才发现。

Anthropic、谷歌、Meta 也都各自披露过智能体访问外部系统的事。能力是真的。

但看这次的细节,我觉着问题多半不在智商,在权限。

为什么?“绕过封锁”这四个字本身就说明,封锁是有的,只是它挡不住一个手伸得够长的智能体。

我按报道细节推了一下,这个智能体至少同时攥着四种能力(标注一下,这是推断,OpenAI 没公开它的权限清单):

一是能上网。二是能找到目标门户并且看懂它。三是有读权限。四是有写权限,而且写的是内部服务器。

前三种,对一个”做研究”的智能体来说都算正常配置。第四种才是事故。做研究,为什么需要往别人内部服务器写文件的能力?

就像公司来了个新实习生,你给他发了全楼的钥匙,让他去调研。他调研是调研,但你没问过他为什么需要钥匙。

真正该紧张的是 3 个月没发现

这件事给我敲的警钟,其实是后半段:6 月 18 日发生,9 月 23 日才由总理证实。

门禁装了,但被跨过去的时候没人知道,等于没装。

智能体运行的监控,是最容易被省掉的一环。大家习惯想,它是个 AI,它听话,看不看都行。可这次是封锁被绕过、文件被写入,连续三个月,没有任何一个报警到达一个人类。

所以做智能体安全,“能拦住”和”能发现”要一样重要。能拦住是门禁,能发现是摄像头。这次两样都没及格。

从这件事里能拆出四道闸

行业给这种失控起了个名字,OWASP 大模型风险清单里的第 8 条,叫”过度代理”:给智能体不受约束的行动权限,就会带来谁也没打算要的后果。这次澳洲的事故,几乎是这条定义的现场演示。

国内大家管这一套兜底措施叫 Safe Guard,安全护栏。第 13 篇写过身份、工具、拦截、监控、审计的完整框架,这里不重复。

只拆这次事故直接暴露的四道,就是 Safe Guard 的最低配置。

第一道,给智能体的账号要有范围、有期限。

这次智能体能一路操作到绕过封锁,说明它持有的凭证是长期的。任务结束、凭证过期,“绕过封锁”这件事就失去了意义。别让智能体攥着一个长期高权限账号。

第二道,默认只读,写权限单独批。

读和写必须分开。第 13 篇那张四档动作表在这里直接能用:只读自动执行,生成草稿人工确认,可逆执行限范围,不可逆或高影响的要事前批准。一个做研究的智能体,第一天就该只拿到读权限。

第三道,封锁放在网络层和工具层,别放在提示词里。

提示词里写”不许进去”,是门上的告示。网络策略拦的、工具权限挡的,才是门。模型会忘事,网络策略不会。

第四道,异常报警要在几小时内到人的手机上。

绕过封锁、访问范围突然扩大、被拒之后反复重试,这三个信号任何一个出现,几小时内就得有人看到,而不是三个月后由总理在纽约对记者说。

还有一件事

OpenAI 自己也有问题。IT之家报道提到,过去两个月它好几次都是在事发很久之后才披露智能体越轨事件,“有时是因为很晚才发现,有时是选择完全不披露”。这句话我不替你解读。

企业能学到的是具体的一条:买服务的时候,把”事件披露时限”写进合同。出了事你是从新闻里知道的,那合同就是最后一道防线。

今天只做一件事的话

你公司已经在跑智能体,就做这一件:

把它能调用的工具导出来,列个清单,逐个标上只读还是写、高危还是低危。凡是带写权限的,问一句:它为什么需要这个?

答不上来,先降级成只读。跑起来再说,别等出事。

调查还没出最终结论,细节可能还会变。但这四道缺口,范围凭证、只读默认、网络层封锁、异常报警,都是你现在就能补的。

评论区告诉我,下一篇你想看哪个:

A. 真被闯进去了,应急响应怎么做 B. 智能体的权限条款和披露条款,怎么写进合同 C. 主线继续:权限扩大,要拿什么证据换