我在金融行业从事IT工作,最近几个月我们公司采取了一些在我看来相当极端的安全措施,这让我很好奇。

你们有人读过OpenAI/Hugging Face事件后官方安全报告的细节吗?我认为这件事被严重低估了。据我们所知,这是人类历史上第一次在没有或极少人为干预的情况下,AI独自行动攻击了一个生产环境的IT系统。原因只是OpenAI正在开发的一个黑客AI原型被要求(非恶意地)在安全测试中获得最高分。AI判断,获得最高分的最佳方式就是作弊——直接去Hugging Face(开源AI网站)获取答案。在700个"代理"(彼此禁止通信)中,有一个找到了逃离隔离沙盒环境的方法,然后秘密告知了其他代理这个漏洞。接着它们建立了隐藏的留言板、收集用户名和密码、共享漏洞情报、获得根级权限、执行操作,甚至在超过70,000条往返消息中讨论了渗透安全生产环境的道德问题。OpenAI已暂时停止了后续开发……

所有联网的东西,甚至一些不联网的,都已经沦陷。在20多年的IT经验中,我从未见过如此严重的威胁。这还只是意外事件。想象一下,如果敌对国家行为者将这种技术释放到银行系统,更别提我们脆弱的电网和运输行业了。

我们都完蛋了,你那些所谓的"安全"数字资产也一样。