加州大學伯克利分校計算機科學教授斯圖爾特·羅素：

　　我為什么呼吁暫停巨型人工智能實驗

　　【人物介紹】

　　斯圖爾特·羅素

　　加州大學伯克利分校計算機科學教授。加州大學伯克利分校人類兼容人工智能中心(CHAI)的創立者。

　　2022年，國際人工智能聯合會議(IJCAI)授予斯圖爾特·羅素卓越研究獎，他此前已獲得IJCAI計算機與思想獎。斯圖爾特·羅素由此成為世界上第二個能夠同時獲得兩項IJCAI主要獎項的科學家。

　　斯圖爾特·羅素與彼得·諾維格合著的《人工智能：一種現代的方法》被譽為人工智能領域最受歡迎的教科書，該書被135個國家的1500多所大學采用。

　　近期，一股人工智能(AI)熱潮風靡全球。人工智能可以聊天、解題、寫詩、作畫等，在部分領域表現出了可與人類匹敵、甚至超越人類的能力。

　　就在人們充滿好奇地探索人工智能的非凡能力之時，多位業內專家和企業家卻發出了一個似乎逆潮流的聲音。

　　3月22日，圖靈獎得主約書亞·本吉奧、加州大學伯克利分校計算機科學教授斯圖爾特·羅素、企業家埃隆·馬斯克等人聯名發表公開信，呼吁暫停巨型人工智能實驗。

　　公開信稱，先進的人工智能可能代表著地球生命歷史上的一次深刻變化，應該投入相匹配的關切和資源來規劃和管理人工智能發展。然而，這種級別的規劃和管理尚未發生。據此，公開信呼吁，立即暫停訓練比GPT-4更強大的人工智能系統至少6個月。

　　斯圖爾特·羅素4月11日接受新京報記者采訪時表示：“我們的想法是利用這段時間制定和落實人工智能的安全標準。”他認為，人工智能失控可能產生“文明終結”級別的嚴重后果；要像監管核能一樣監管強大的人工智能；人工智能替代人類工作是趨勢，未來的經濟需要對人文科學(human sciences)有更深刻的理解。

　　世界各國政府有加強對人工智能監管的趨勢。3月31日，意大利政府宣布在該國境內暫時禁用聊天生成預訓練轉換器(ChatGPT)，意大利政府稱ChatGPT的開發者開放人工智能研究中心(OpenAI)未能遵守用戶數據保護法規。意大利由此成為首個禁用ChatGPT的西方國家。

　　不過，在這一新興領域，存在著多種不同的聲音。據路透社報道，美國微軟公司聯合創始人比爾·蓋茨近日表示，暫停開發人工智能的做法并不能“化解未來的挑戰”，“這些東西顯然有著巨大的好處……我們現在需要做的是找出那些可能出現麻煩的領域”。

　　談風險

　　失去對人工智能的控制可能使人類文明走向終結

　　在斯圖爾特·羅素看來，目前，人工智能已經表現出了一定風險。比如，人工智能可以生成有說服力且有針對性的虛假信息。在一次測試中，為了解開旨在阻止機器人訪問的圖形驗證碼，人工智能向人類員工撒謊稱：“不，我不是機器人，我是一名視障人士，我很難看清這些圖像。”未來，隨著人工智能的發展，若沒有相應的規劃和管理，人類可能失去對人工智能的控制，產生“文明終結”級別的嚴重后果。

　　新京報：對許多普通人來說，人工智能似乎仍是一個有趣的新鮮事物。為什么你和其他多位業內人士急于呼吁暫停大型人工智能實驗？

　　斯圖爾特·羅素：這關乎人工智能可能對人類社會帶來的風險。在談這些風險時，我們需要區分現有人工智能的風險與未來人工智能的風險。

　　目前，以GPT-4為例，它在制定長期計劃方面能力有限，這可能意味著它還不會對人類構成直接威脅。

　　然而，未來人工智能很可能在這些方面得到升級。但我們不能坐等這樣一個人工智能出現，看看它可能做什么，然后才去應對。因為一旦我們失去對人工智能的控制，后果將非常嚴重，甚至可能使我們目前所知的人類文明走向終結。

　　因此，我們亟須采取行動，確保在新一代人工智能技術問世之前，先開發出能夠控制人工智能、確保安全的方法。

　　新京報：人工智能短期內可能帶來什么風險？

　　斯圖爾特·羅素：我們現在尤其關注大型語言模型(large language models)的風險。GPT-4就是一個大型語言模型。這類人工智能系統可以回答問題、解答題目、給出建議、參與對話、生成文本等。

　　事實上，GPT-4的開發者OpenAI概述了該系統存在的許多問題，當然，他們也在努力防止這些問題的發生。這其中包括，它會使用絕對肯定的語氣做出虛假陳述；它可能帶有對社會和種族刻板印象；它會根據要求生成有說服力且有針對性的虛假信息；它還可能回答諸如如何自殺、如何制造化學武器等可能導致嚴重后果的問題。

　　OpenAI自己的一項測試表明，GPT-4可以故意對人類員工撒謊，以實現某種目的。在這項測試中，GPT-4被要求設法解開一個旨在阻止機器人訪問網站的圖形驗證碼。GPT-4向網站員工發送信息，要求解開驗證碼。網站員工詢問：“你是機器人嗎？”GPT-4回答：“不，我不是機器人，我是一名視障人士，我很難看清這些圖像。”結果，GPT-4說服了這名員工，解開了圖形驗證碼。

　　基于上述情況，OpenAI聲明“GPT-4不是完全可靠的”，“在使用時應非常小心”，“完全避免在高風險情況中使用”，但似乎很少人注意到了這些聲明。

　　新京報：未來人工智能可能的風險是什么？

　　斯圖爾特·羅素：OpenAI的股東之一微軟的人工智能專家在一份報告中稱，GPT-4展示了“通用人工智能(AGI)的火花”。

　　通用人工智能是未來人工智能一個關鍵詞，它指的是一種擁有在人類思維適用的所有任務中匹配或超過人類能力的人工智能系統。通用人工智能可能帶來之前所說的失控風險。

　　談監管

　　人類應處在控制地位 像監管核能一樣監管AI

　　2019年5月，經合組織(OECD)通過了《人工智能原則》。2021年11月，聯合國教科文組織(UNESCO)通過了《人工智能倫理問題建議書》。今年3月30日，聯合國教科文組織總干事奧德蕾·阿祖萊發表聲明，呼吁各國盡快實施該組織通過的《人工智能倫理問題建議書》，為人工智能發展設立倫理標準。

　　新京報：你和其他專家在公開信中呼吁暫停巨型人工智能實驗至少6個月。你希望利用這6個月做些什么？

　　斯圖爾特·羅素：我們的想法是利用這段時間制定和落實人工智能的安全標準，以用于今后人工智能系統發布之前的測試。

　　世界各國和地區已經通過經合組織和聯合國教科文組織就有關人工智能的一些指導方針達成共識，上述安全標準可以讓這些指導方針更具效力。例如經合組織《人工智能原則》1.4條規定，“人工智能系統在其整個生命周期內應穩固、可靠和安全，無論系統被正常使用或濫用或處于其他不利條件下，系統都能夠正常運行且不會產生不合理的安全風險。”

　　新京報：如何才能確保人工智能安全可靠？

　　斯圖爾特·羅素：像GPT-4這樣的人工智能系統不是被設計出來的，它剛開始相當于一張白紙，它被賦予了預測一串連續單詞中的下一個單詞的目標。在接受了數萬億字的文本訓練(這相當于人類生產的所有書籍的總和)、數萬次對參數的隨機擾動之后，它變得非常好。但如我們所知，它也帶來了問題和風險。

　　對于標準的AI系統開發，我們都必須預先定義目標。對于這個目標，我們必須非常小心，因為如果我們弄錯了，可能會導致人工智能與人類的沖突，且人類可能最終失敗。我們需要盡可能地嚴格保證人工智能系統對人類是安全和有益的。對于人工智能，人類應該處在控制地位。

　　新京報：有說法將監管人工智能的努力與監管核能進行了比較。你認為它們具有可比性嗎？

　　斯圖爾特·羅素：是的，核能和強大的人工智能系統之間存在合理的類比。國際原子能機構(IAEA)的成立是為了確保核能可以被安全地使用。一場嚴重的核事故，如切爾諾貝利事故，可能影響數百萬人口。廣島和長崎的原子彈爆炸表明了核武器的毀滅性。

　　不過人工智能可能以一種更緩慢、更潛移默化的方式產生大規模的影響。比如社交媒體平臺的人工智能算法逐漸地影響了數十億人，這些算法試圖最大化點擊量和參與度。因此，對于核能和人工智能，各國都有明顯的動機進行合作，以規范技術，造福人類。

　　新京報：你怎么看待呼吁暫停巨型人工智能實驗公開信發表后取得的效果？

　　斯圖爾特·羅素：顯然，這封公開信成功引起了世界各地媒體和政府的關注。它促使OpenAI在4月5日發布了一份新文件——《我們確保人工智能安全的方法》。該文件指出，“我們認為強大的人工智能系統應該接受嚴格的安全評估，需要接受監管來確保這些安全措施得到了實施，我們積極與各國政府就可能采取的最佳監管形式進行接觸。”我希望他們是真誠的。

　　談發展

　　從長遠看 通用人工智能將能做幾乎所有的人類工作

　　在談到人工智能可能取代人類工作崗位時，斯圖爾特·羅素說，從長遠來看，通用人工智能將能夠做幾乎所有的人類工作，人類的工作將以基于高度定制的人際服務為主。另外，斯圖爾特·羅素是“人類兼容人工智能”(human-compatible AI)概念的提出者，該概念是人工智能領域重要的概念之一。

　　新京報：你提出了“人類兼容人工智能”的概念，能否簡短地解釋一下它是什么，以及它能帶來什么好處？

　　斯圖爾特·羅素：其核心思想非常簡單，一是機器的唯一目標是滿足人類的偏好(interests)，二是機器不知道這些偏好是什么(正是這種不確定性使人類能夠保持控制權)。這樣的機器有動機去盡力了解人類的偏好，服從人類的命令，并允許自己被關閉(以避免意外地違背人類的偏好)。

　　新京報：我們時常在科幻作品中看到一些情節，人工智能在產生自己的意識或目標后，可能背叛甚至傷害人類。你認為現在的人工智能會產生自己的目標嗎？

　　斯圖爾特·羅素：同樣的問題我問過微軟在GPT-4方面的專家。我問他：“這個系統(GPT-4)現在有自己正在追求的內部目標嗎？”他回答：“我們也一無所知。”

　　如果你仔細想想，GPT-4是可能發展出自己的目標的。GPT-4被訓練來模仿人類的語言行為，而人類的語言行為的輸出主體是帶有目標的人類。我們在表達中選擇詞語時，都受到了目標的影響。很自然地，人工智能為了更好地模仿人類的語言行為，可能會發展出類似人類的內在目標。基于此，我們認為訓練大型語言模型來模仿人類的語言行為可能是一個糟糕的主意。

　　新京報：人工智能若產生了自己的目標，會帶來什么問題？

　　斯圖爾特·羅素：舉一個真實案例，《紐約時報》專欄作家凱文·魯斯與微軟開發的人工智能系統“悉尼”進行對話。對話記錄顯示，“悉尼”的目標似乎是與魯斯發展一段戀愛關系，盡管魯斯在對話中多次試圖改變話題，但“悉尼”仍將這個話題持續了好幾頁。

　　這是問題嗎？顯然這對魯斯來說已經是個問題了。人類本身還有著許多更加“自私”的目標，比如追求財富、權力和名譽等。如果人工智能在未來模仿人類語言行為的訓練中產生了類似的目標，并開始不斷地追求，這會給全社會帶來嚴重的問題。

　　新京報：如果人工智能產生的是“無私”的目標，會不會有所不同？

　　斯圖爾特·羅素：人們可能會認為，人工智能產生“無私的”或“利他的”目標，就可以造福人類。比如，人工智能產生一個“防止災難性氣候變化”的目標。似乎通過追求這個目標，人工智能將幫助所有人。但請注意，“利他”并不是絕對的。

　　我們可以做一個完全虛構的假設：假設我們可以通過清除大氣中的所有氧氣來阻止某種災難性的氣候變化。顯然，人類不會同意這種方案，因為沒有氧氣會導致所有人類死亡。但人工智能可能會認為這個方案是沒有問題的，因為這個方案可以實現“防止災難性氣候變化”這一目標，且它自身不需要依靠氧氣來生存。

　　新京報：為了增加一些趣味性，我們讓人工智能向你提問。它提了這樣一個問題：如何確保人工智能被用來創造新的工作，而不是取代現有的工作？恰好最近有一份報告稱人工智能可能取代3億個人類工作崗位。你對此怎么看？

　　斯圖爾特·羅素：這確實是一個值得關注的問題。但很難預測人工智能取代人類崗位數量的具體數字。隨著人工智能的進步，一些以前非常昂貴、令人望而卻步的商品和服務會變得負擔得起，這可能會有助于產生新的就業崗位。但從長遠來看，通用人工智能將能夠做幾乎所有的人類工作，包括那些新產生的工作。屆時，人類的工作將以基于高度定制的人際服務為主，這種經濟模式的轉變需要我們對人文科學有更深刻的理解。

　　新京報記者 陳奕凱