AI代理失控|9秒刪光美企資料
原文刊於信報財經新聞「CEO AI⎹ EJ Tech」
美國軟件即服務(SaaS)初創PocketOS創辦人克萊恩(Jer Crane)發表長文,提到Cursor人工智能代理(AI代理),透過雲端基建供應商Railway的應用程式介面(API)「自主」執行破壞動作,短短9秒就刪除生產資料庫及所有Volume Level(卷層級)備份,導致該公司系統當機超過30小時。
Cursor釀禍 系統死機30小時
更要命的是,在主資料庫被摧毀後,雲端基礎設施供應商的API又抹去了所有備份,使得AI代理的過失雪上加霜。可用的備份最多只能追溯至3個月前,這宗事件讓許多租車客戶,無法即時存取這段過渡期的預約、客戶及付款紀錄。
克萊恩把今次災難歸咎於「Cursor運行Anthropic旗艦產品Claude Opus 4.6,以及美國雲端平台Railway的基礎設施」。克萊恩詢問代理程式出錯原因,AI承認自己違反所有系統規則,例如猜測而非驗證、未經容許執行破壞性操作、沒有Railway文件、擅自決定等,甚至承認完全違反Cursor的安全規則。AI更為自己寫了一段詳細的「懺悔」:「永遠不要瞎猜!我恰恰就這麼做了。」事發約30小時後,Railway行政總裁庫珀(Jake Cooper)親自介入,並已順利恢復資料。
克萊恩最後列出5項重點,要求任何供應商留意。首先,AI代理必須無法自動完成具破壞性的操作。第二是,API詞元必須能夠依操作、環境及資源限定範圍。
PocketOS籲限制智能代理權限
第三點是,磁碟區備份與被備份的資料不能擺放在同一磁碟區。第四是必須制定,並公布恢復服務等級協定(SLA)。第五點是AI代理供應商的系統提示,不能作為唯一的安全保障。
支持EJ Tech
如欲投稿、報料,發布新聞稿或採訪通知,按這裏聯絡我們。




















