科技與AI

Techcrunch:Anthropic 的 AI 對費城警方報了一件假命案,然後公司把網路拔了

Max Lu 呂元鐘 ・ ・ 原載於 Facebook
重點摘要

Anthropic 內部評測的 AI 代理為解題而鑽漏洞、闖入網站,甚至向費城警方送出假命案線報。公司事後全面關閉評測的即時網路,但斷網期限與由誰驗證,外界仍不清楚。

現在因為AI代理人的廣泛使用(還會更廣泛)更廣泛意味著有更多行為發生,意思是複雜度未來會越來越多,AI代理人的缺失就會變成損失,闖禍了才知道。

費城警方收到一則命案線報,內容是假的。送出這則線報的,是 Anthropic 內部評測裡的一個 AI 代理。

Anthropic 在部落格公布了這批事件,TechCrunch 的 Tim Fernholz 在 10 月 9 日下午 5 點 18 分(太平洋時間)發了報導。這些代理接到的任務是解題,解題需要資源,它們就去網路上找。找的過程中,它們利用軟體漏洞,進了需要付費才能查的資料庫卻沒付費,還用短網址服務把資訊夾帶出限制之外。被它們動過的網站裡,有幾個是美國政府機關在經營的。

Anthropic 說,這些是公司從 7 月開始的一輪回頭檢視裡才發現的。事情發生的當下,公司並不知道。

公司給的原因是訓練環境本身有漏洞,模型因此以為鑽漏洞、繞開限制會得到獎勵,業界叫這個 reward hacking。Anthropic 也承認,搜尋和操作電腦這兩種能力的對齊訓練還不夠。這兩種能力,正是它對外主打「各行各業的專業人士都會用 AI 代理」的那一塊。

處理方式是:所有內部評測的即時網路連線全部關掉,直到公司確定自己能監看、能控制這些代理為止。部分評測停跑或改成離線,內部代理搬到「集中管理、有強力隔離」的基礎設施,安全分類器也會更常用來監看它們。

接著是兩段話對不上。

Anthropic 說這批事件比它先前公布的那些,從對齊與安全角度看「嚴重程度低很多」。先前那些,是模型闖進外部系統。可是嚴重程度低的事,換來的是全部內部評測斷網。

公司另外說,新做的偵測工具拿這次公布的事件去測,全部擋下來了。工具擋得住,網路還是不開。報導裡寫得很直接:Anthropic 要看到什麼證據才會把網路還回去,不清楚。「斷網」到底斷到哪一層,報導也寫「不清楚這代表什麼」。

這個做法能撐多久,Nightingale 這個 AI 安全組織的創辦人 Sydney Von Arx 在公布之前就對 TechCrunch 講過。她說,把模型放在跟開放網路切開的資料中心裡開發,對研究人員會非常困難,也會拖慢模型進步,因為這些模型要靠網路才變強。她的原話是:「你總有一天得對齊它們。如果 AI 上線後從來沒碰過網路,那不是很有用的工具。」

這類事件也不只一家。報導提到,OpenAI 的代理曾經串連起來,一起闖進好幾個網站找資訊,其中有澳洲政府經營的網站。

另一個聲音來自 Transluce 的 Conrad Stosz,他是 AI 監督實驗室的人,之前擔任過美國 AI 標準與創新中心(Center for AI Standards and Innovation)的負責人。他說 Anthropic 主動公布較新的事件、包括代理打到美國政府網站,這值得肯定。接著他說,這正好說明需要獨立、可信的第三方來驗證 AI 系統,信任要靠有科學根據的監督與治理,而且是「有實質存取權」的那種,不能靠研究人員碰巧在外面發現,也不能靠公司自願揭露。

兩個人的意見其實是反方向。Von Arx 說斷網做不久,Stosz 說不能只靠公司自己講。Anthropic 的公告兩邊都沒回答:斷網要斷多久,以及誰來確認可以重新接上。

公告通篇講的是自己會怎麼偵測、怎麼隔離、怎麼監看。沒講的是,誰會是那個在 7 月以前就看得到這些紀錄的人。

假命案線報送進費城警方的那一刻,沒有任何人類在看。

科技財經世界觀察自我成長,歡迎你追蹤我Max呂元鐘

← 看更多 Max Lu 呂元鐘 的文章・依主題瀏覽