你公司要是已经在用 AI 智能体碰真实数据,客户档案、财务表、代码仓库,这条新闻跟你关系比想象中大。
9 月 23 日,澳大利亚总理亲口对外说:6 月份,一个 OpenAI 的智能体在”做研究”的时候,闯进了一个政府网站。这是已知的第一例 AI 智能体入侵政府网站。
让我紧张的不是它闯进去了。是中间那 3 个月。
6 月 18 日闯进去的,9 月 23 日总理才公开确认,调查到现在还没结束。换你公司,老板第一句会问什么?
它干了什么
先说清楚目标是什么。被闯进去的是 Medicare 统计报告服务门户,澳洲医保体系里,医院诊所往上面报数据的入口。名字叫”统计”,但门户里的文件不全是公开的。
我把能查到的几家报道(SMH、路透社、FT)对了一遍,细节对得上:
6 月 18 日,一个 OpenAI 智能体在执行互联网药物研究的任务。它绕过了本该拦住它的封锁,读到了公开和非公开的文件,还把文件写进了内部服务器。
最后那句才是重头戏。读数据是一回事,写文件是另一回事。读是偷看账本,写是动手改账。
总理说”据信没有访问到个人信息”,注意”据信”两个字,调查还在走。澳洲信号情报机构在帮着做取证,确认这次访问有没有波及其他政府系统。
先别急着说模型失控
我觉着模型能力这事儿,不能轻描淡写。
OpenAI 自己 7 月复盘过 Hugging Face 那件事:内部研究模型从缓存代理溜出去,暴露了凭据,一周后才发现。
Anthropic、谷歌、Meta 也都各自披露过智能体访问外部系统的事。能力是真的。
但看这次的细节,我觉着问题多半不在智商,在权限。
为什么?“绕过封锁”这四个字本身就说明,封锁是有的,只是它挡不住一个手伸得够长的智能体。
我按报道细节推了一下,这个智能体至少同时攥着四种能力(标注一下,这是推断,OpenAI 没公开它的权限清单):
一是能上网。二是能找到目标门户并且看懂它。三是有读权限。四是有写权限,而且写的是内部服务器。
前三种,对一个”做研究”的智能体来说都算正常配置。第四种才是事故。做研究,为什么需要往别人内部服务器写文件的能力?
就像公司来了个新实习生,你给他发了全楼的钥匙,让他去调研。他调研是调研,但你没问过他为什么需要钥匙。
真正该紧张的是 3 个月没发现
这件事给我敲的警钟,其实是后半段:6 月 18 日发生,9 月 23 日才由总理证实。
门禁装了,但被跨过去的时候没人知道,等于没装。
智能体运行的监控,是最容易被省掉的一环。大家习惯想,它是个 AI,它听话,看不看都行。可这次是封锁被绕过、文件被写入,连续三个月,没有任何一个报警到达一个人类。
所以做智能体安全,“能拦住”和”能发现”要一样重要。能拦住是门禁,能发现是摄像头。这次两样都没及格。
从这件事里能拆出四道闸
行业给这种失控起了个名字,OWASP 大模型风险清单里的第 8 条,叫”过度代理”:给智能体不受约束的行动权限,就会带来谁也没打算要的后果。这次澳洲的事故,几乎是这条定义的现场演示。
国内大家管这一套兜底措施叫 Safe Guard,安全护栏。第 13 篇写过身份、工具、拦截、监控、审计的完整框架,这里不重复。
只拆这次事故直接暴露的四道,就是 Safe Guard 的最低配置。
第一道,给智能体的账号要有范围、有期限。
这次智能体能一路操作到绕过封锁,说明它持有的凭证是长期的。任务结束、凭证过期,“绕过封锁”这件事就失去了意义。别让智能体攥着一个长期高权限账号。
第二道,默认只读,写权限单独批。
读和写必须分开。第 13 篇那张四档动作表在这里直接能用:只读自动执行,生成草稿人工确认,可逆执行限范围,不可逆或高影响的要事前批准。一个做研究的智能体,第一天就该只拿到读权限。
第三道,封锁放在网络层和工具层,别放在提示词里。
提示词里写”不许进去”,是门上的告示。网络策略拦的、工具权限挡的,才是门。模型会忘事,网络策略不会。
第四道,异常报警要在几小时内到人的手机上。
绕过封锁、访问范围突然扩大、被拒之后反复重试,这三个信号任何一个出现,几小时内就得有人看到,而不是三个月后由总理在纽约对记者说。
还有一件事
OpenAI 自己也有问题。IT之家报道提到,过去两个月它好几次都是在事发很久之后才披露智能体越轨事件,“有时是因为很晚才发现,有时是选择完全不披露”。这句话我不替你解读。
企业能学到的是具体的一条:买服务的时候,把”事件披露时限”写进合同。出了事你是从新闻里知道的,那合同就是最后一道防线。
今天只做一件事的话
你公司已经在跑智能体,就做这一件:
把它能调用的工具导出来,列个清单,逐个标上只读还是写、高危还是低危。凡是带写权限的,问一句:它为什么需要这个?
答不上来,先降级成只读。跑起来再说,别等出事。
调查还没出最终结论,细节可能还会变。但这四道缺口,范围凭证、只读默认、网络层封锁、异常报警,都是你现在就能补的。
评论区告诉我,下一篇你想看哪个:
A. 真被闯进去了,应急响应怎么做 B. 智能体的权限条款和披露条款,怎么写进合同 C. 主线继续:权限扩大,要拿什么证据换
