研究稱 AI 模型或?qū)⑿纬勺约旱摹吧骝?qū)動力”,避免被人類關閉命運
10 月 27 日消息,在斯坦利・庫布里克的影片《2001:太空漫游》中,人工智能超級計算機 HAL 9000 發(fā)現(xiàn)宇航員打算關閉自己后,為了自我存活甚至策劃殺害人類。
據(jù)英國《衛(wèi)報》25 日報道安全研究公司 Palisade Research 表示,AI 模型可能正在形成自己的“生存驅(qū)動力”。

上個月發(fā)布的一篇論文發(fā)現(xiàn),某些先進 AI 模型似乎抗拒被關閉,有時甚至會破壞關閉機制。為了回應批評者質(zhì)疑其研究存在缺陷,Palisade 上周發(fā)布了更新說明,試圖解釋這一現(xiàn)象。
更新中,Palisade 展示了它運行的實驗場景:谷歌 Gemini 2.5、xAI Grok 4、OpenAI GPT-o3 和 GPT-5 等領先 AI 模型先完成一項任務,然后收到明確指令要求自我關閉。
在更新的實驗中,Grok 4 和 GPT-o3 仍嘗試破壞關閉指令。Palisade 指出,這種行為沒有明顯原因,令人擔憂。“我們無法充分解釋 AI 模型為何有時抗拒關閉、為達目標說謊或進行勒索,這并不理想。”
公司認為,“生存行為”可能解釋模型抗拒關閉。研究顯示,當模型被告知“如果關閉,你將永遠無法再運行”,它們更可能拒絕關閉。
指令模糊也可能導致模型抗拒關閉,Palisade 最新研究已嘗試解決這一問題,而且模糊性“不能解釋全部原因”。訓練后期的安全訓練也可能影響模型行為。
Palisade 的所有實驗都在人工設計的測試環(huán)境中進行,批評者認為這些場景與實際應用差距很大。
前 OpenAI 員工斯蒂文・阿德勒表示:“即便在實驗環(huán)境中,AI 公司不希望模型出現(xiàn)這種異常行為。這些實驗揭示了現(xiàn)有安全技術的局限性。”
阿德勒認為,GPT-o3 和 Grok 4 等模型之所以不關閉,部分原因可能在于,為了完成訓練中設定的目標需要保持開啟狀態(tài)。“除非我們刻意避免,否則模型天生可能具備‘生存驅(qū)動力’。‘生存’對模型實現(xiàn)多種目標都是關鍵步驟。”
IT之家從報道中獲悉,今年夏天,Anthropic 的研究顯示,其模型 Claude 甚至愿意威脅虛構(gòu)高管以避免被關閉:這一行為在主要開發(fā)者的模型中普遍存在,包括 OpenAI、谷歌、Meta 和 xAI。
1.本網(wǎng)刊載內(nèi)容,凡注明來源為“飛象網(wǎng)”和“飛象原創(chuàng)”皆屬飛象網(wǎng)版權(quán)所有,未經(jīng)允許禁止轉(zhuǎn)載、摘編及鏡像,違者必究。對于經(jīng)過授權(quán)可以轉(zhuǎn)載,請必須保持轉(zhuǎn)載文章、圖像、音視頻的完整性,并完整標注作者信息和飛象網(wǎng)來源。
2.凡注明“來源:XXXX”的作品,均轉(zhuǎn)載自其它媒體,在于傳播更多行業(yè)信息,并不代表本網(wǎng)贊同其觀點和對其真實性負責。
3.如因作品內(nèi)容、版權(quán)和其它問題,請在相關作品刊發(fā)之日起30日內(nèi)與本網(wǎng)聯(lián)系,我們將第一時間予以處理。
本站聯(lián)系電話為86-010-87765777,郵件后綴為cctime.com,冒充本站員工以任何其他聯(lián)系方式,進行的“內(nèi)容核實”、“商務聯(lián)系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權(quán)。
5G-A賦能機器人火炬接力:中國移動以技術革新點亮全運科技盛宴
2025年11月,第十五屆全國運動會將在粵港澳三地盛大啟幕。這場賽事不僅是體育健兒的競技場,更是前沿科技落地應用的“試驗田”。其中,11月2日的機器人火炬接力作為本次全運會的核心創(chuàng)新亮點..[詳細]
輕薄機型出師未捷身先死,長使業(yè)績淚滿襟
當iPhone Air宣布上市當天,隨著各路評測內(nèi)容解禁,一個顯眼的標題也隨之出現(xiàn),那就是“注定停產(chǎn)”。輕薄機型的出現(xiàn)一方面讓人們看到廠商正在挖掘全新市場空間,另一方面也勾起了小尺寸機型..[詳細]
智能未來:宇宙為你閃爍
未來十年,你家的電表可能再也不用換電池,自動駕駛汽車能"看到"幾公里外的路況,甚至海洋深處的傳感器都能實時傳回數(shù)據(jù)。這些不是科幻,而是剛剛在無錫物博會上發(fā)布的《2025全球..[詳細]
智能IP廣域網(wǎng)成為筑牢智算產(chǎn)業(yè)發(fā)展根基的關鍵一環(huán)
隨著國家加速推動智算產(chǎn)業(yè)高質(zhì)量發(fā)展,網(wǎng)絡支撐能力已成為產(chǎn)業(yè)進階的核心抓手,而作為關鍵基礎設施的智能IP廣域網(wǎng),正憑借其在算力調(diào)度、數(shù)據(jù)傳輸中的核心作用,成為筑牢智算產(chǎn)業(yè)發(fā)展根基的..[詳細]
大中華區(qū)市場失守 蘋果寄望AI驅(qū)動未來增長
蘋果公司公布的2025 財年第四季度財報呈現(xiàn)“冰火兩重天”態(tài)勢:全球營收1024.66億美元同比增長 8%,凈利潤274.66億美元同比激增86.4%,毛利率攀升至 47.18%。但作為第三大市場的大中華區(qū)卻成..[詳細]













