斯圖爾特·羅素：大模型只是AGI的一塊孤立拼圖，還有拼圖沒找到

來源：澎湃新聞

記者吳天一實習生陳曉銳

·“我不認為了解人工智能安全的唯一途徑，是在現實世界中部署一個系統的數億個副本，然後觀察結果。”人類不會對疫苗這麼做，“我們在部署疫苗之前必須先測試它，因為我們將把它注射到數億人身上。”

·“我們不了解大型語言模型以及它們如何工作。我們需要有這種理解，以便對安全有信心。人類構建AI系統的技術，不應該依賴大量的數據訓練和內部結構未知的黑箱。”

美國加州大學伯克利分校計算機科學教授斯圖爾特·羅素在2023北京智源大會上發表主旨演講。

“人工智能就像是一塊來自未來的巨大磁鐵在牽引我們前進，如何確保自己不會被超越人類的智能所控制？”6月10日，美國加州大學伯克利分校計算機科學教授、人類兼容人工智能中心（Center for Human-Compatible AI）主任斯圖爾特·羅素（Stuart Russell）在2023北京智源大會上發表演講稱，人工智能係統的設計必須遵循兩個原則。首先，AI的行為必須符合人類的最大利益；第二，AI自己不應該知道這些利益是什麼。

在對話環節，羅素與圖靈獎得主、中國科學院院士姚期智共同探討了人工智能的長期未來及其與人類的關係，羅素引用中國古代哲學家孟子“博愛”的觀點，“未來，當人工智能係統在代表社會做出決策時，應當合理地考慮到每個人的利益。”

罗素与他人合著的《人工智能：一种现代的方法》被誉为人工智能领域最受欢迎的教科书，被135个国家的1500多所大学采用。2022年，国际人工智能联合会议（IJCAI）授予罗素卓越研究奖，他此前已获得IJCAI计算机与思想奖，由此成为世界上第二个能够同时获得两项IJCAI主要奖项的科学家。

通用人工智能還很遙遠

在北京大會現場，羅素在題為《AI: Some Thoughts?（一些關於AI的思考）》的演講中對通用人工智能（AGI）做出了定義：通用人工智能是指在大多數經濟有價值的任務上超越人類能力的人工智能係統。這種人工智能係統可以比人類更好更快地學習和執行任何任務，包括人類無法處理的任務，並且由於機器在速度、內存、通信和帶寬方面的巨大優勢，未來，通用人工智能在幾乎所有領域都將遠遠超過人類的能力。

那麼，人類距離通用人工智能還有多遠的距離呢？羅素表示，我們離通用人工智能還很遙遠。 “事實上，仍然存在許多尚未解決的重大問題。”

羅素在演講中指出，ChatGPT和GPT-4並不理解世界，也沒有在“回答”問題，“如果說通用人工智能是一件完整的拼圖，大語言模型僅僅只是其中的一塊，但我們並不真正了解如何將它與拼圖的其他部分連接起來，以真正實現通用人工智能。”他說，“我相信甚至還有部分缺失的拼圖沒有被找到。”

羅素認為，目前的人工智能係統存在一個根本性的弱點，即它們使用電路來生成輸出。 “我們正試圖從電路中獲得高度智能的行為，而電路本身是一種相當有限的計算形式。”他認為，電路無法準確地表達和理解一些基本的概念，這意味著這些系統需要大量的訓練數據來學習一些可以用簡單的程序定義的函數。他認為，未來人工智能的發展方向應該是使用基於明確的知識表徵的技術。

“拋開技術問題不談，如果我們確實創造了通用人工智能。接下來會發生什麼？”羅素引用現代計算機科學奠基人艾倫·圖靈的話說，“機器思維方法一旦開始，用不了多久就會超越我們微弱的力量，這似乎很可怕。”

“我們如何永遠確保自己不會被人工智能所控制？這是我們面臨的問題——如果找不到這個問題的答案，那麼我認為別無選擇，只能停止開發通用人工智能。”羅素表示。

今年3月，羅素曾與特斯拉CEO埃隆·馬斯克、“AI教父”杰弗裡·辛頓（Geoffrey Hinton）等上千人簽署公開信，呼籲暫停訓練比GPT-4更強大的AI系統至少六個月。

羅素在會上強調，解決問題的答案是有的。人工智能係統的設計必須遵循兩個原則。首先，AI的行為必須符合人類的最大利益；第二，AI自己不應該知道這些利益是什麼。因此，它們不確定人類的偏好和未來，這種不確定性會給人類控制權。

羅素稱，人們需要改變觀念，不要追求“機器必須是智能的”，而要注重機器的“有益性”，使之符合人類的根本利益。 “外星人是非常智能的，但我們並不一定希望它們來到地球。”

AI與孟子的博愛思想

在對話環節中，羅素與姚期智進行了一場深刻而富有洞見的討論。

在被姚期智問及人工智能與人類關係的長期未來時，羅素表示，人類利用AI滿足自身利益，從而導致AI不可控的現像源於功利主義，“功利主義是人類進步的一個重要步驟，但也導致了一些問題。”例如，當一個決定會影響到多少人的實際存在時，如何做出決策？人們想要一個不太幸福的大群體還是一個很幸福的小群體？ “對於這類問題，我們沒有很好的答案，但我們需要回答這些道德哲學的核心問題，因為人工智能係統將擁有強大的力量，而我們最好確保它們以正確的方式使用這種力量。”

羅素與圖靈獎得主、中國科學院院士姚期智（右）共同探討了人工智能的長期未來及其與人類的關係。

羅素在回答中引用了中國古代哲學家孟子的觀點，“孟子在中國談到了博愛的概念，意思是在做道德決定時，每個人的利益都應該被考慮在內。而每個人的偏好都應該被平等對待。”他相信有一種基於復雜形式的偏好功利主義（preference utilitarianism）的方法，可以使人工智能係統在代表社會做出決策時，能合理地考慮到每個人的利益。

羅素問，當有一個人和許多機器時，如何確保這些機器相互協作來幫助人類？當許多人有許多機器時，這就涉及到道德哲學的基本問題。他認為，AI系統應該被設計為代表全人類工作。 “如果你想讓AI系統順應個人的願望，那麼你必須證明該AI系統的行動範圍被限制在個人關注的範圍內，它不能通過追求個人利益來傷害其他個人，因為它並不關心其他個人。因此，我認為默認情況應該是，人工智能係統是代表人類工作的。”

此外，在討論中，羅素提到了經濟學術語“位置性商品”，“位置性商品”指的是人們重視的並非物品本身，而是它們隱含了優於其他人的意義。 “為什麼諾貝爾獎是有價值的？因為別人都沒有，這證明你比世界上幾乎所有人都聰明。”他說。

“位置性商品的性質是，在某種意義上存在零和遊戲。簡單地說，不是每個人都能進入前1%的行列。因此，如果你從成為1%的人中獲得個人價值、自豪感和自尊心，我們就不能把這種自豪感和自尊心給所有人。”羅素說。

那麼，AI系統在代表社會做決定時，是否應該考慮到位置性商品？ “如果我們說不應該，那就會造成社會運行方式的巨大變化。這是一個更加困難的問題。我認為社會中的許多內部摩擦實際上是由這些位置性商品引起的，這些商品根本不可能由每個人實現。”

像社交媒體算法一樣危險

姚期智問道，未來是否有可能製定一個“白名單”，允許人工智能係統被用來做有利於人類福祉的事，例如，使用人工智能方法來設計藥物和解決癌症問題。

羅素表示，納米技術的創始人之一金·埃里克·德雷克斯勒（K. Eric Drexler）在過去幾年裡一直致力於人工智能安全，他提出了全面人工智能服務（Comprehensive AI services，CAIS），即建立人工智能係統不是為了通用目標，而是為了解決特定、狹窄的問題，比如蛋白質折疊、交通預測等。比起通用人工智能，這些系統帶來的大規模風險相對較小。

羅素稱，“在短期內這是一個合理的方法”，但是，“我不認為了解人工智能安全的唯一途徑，是在現實世界中部署一個系統的數億個副本，然後觀察結果。”他表示，人類不會對疫苗這麼做，“我們在部署疫苗之前必須先測試它，因為我們將把它注射到數億人身上。”

因此，目前還需要更多的工作來確保人們使用這些系統的安全性。羅素指出，人工智能係統可能會通過對話來改變數億人的觀點和情緒。 OpenAI等科技公司應該停止在不告知的情況下向數億人發布新的人工智能係統，這些系統可能會通過對話來操縱和影響人類的思想和行為，導致一些災難性的後果，例如核戰爭或氣候災難。 “如果你能與數億人對話，你就能說服這數億人對其他國家不那麼友好，也能說服人們不那麼關心氣候變化。”

羅素說，“這種情況類似於社交媒體算法，我們甚至沒有意識到它正在改變公共話語、情緒，以及我們如何看待他人和未來，這是非常危險的。”“從系統來看，有一些我們沒有辦法檢測到的內部目標，導致AI把我們推向這個方向。”

那麼，如何保證人工智能技術的安全性和可控性？

“如果AI這項技術與核武器一樣強大或更強大，我們可能需要以類似的方式管理它。”羅素稱，“在核武器技術發明之前，曾有物理學家認為，我們需要有一個治理結構，以確保技術只用於人類利益，而不是以武器的形式使用。不幸的是，物理學界和政府都沒有聽取他們的意見。”他強調，AI這項技術與核武器、航空技術一樣強大，各個國家應該努力盡快開展這種AI安全方面的合作。

羅素認為，保證發揮AI的潛在好處需要全面變革，不能僅僅靠監管和確立嚴格的規則及安全標準，還需要整個AI領域的文化轉變。

他給出了建議：首先，要建立人類能夠理解的AI系統。 “我們不了解大型語言模型以及它們如何工作。我們需要有這種理解，以便對安全有信心。人類構建AI系統的技術，不應該依賴大量的數據訓練和內部結構未知的黑箱。”

此外，要阻止不安全的人工智能係統被部署，特別是被惡意行為者使用，“需要改變整個數字生態系統，從計算機的運行模式入手，即計算機不會運行它所認為的不安全的軟件。”

羅素在討論最後總結道，人工智能是一門科學，因此在使用它之前，需要了解它的內部結構和工作原理。 “就像我們製造飛機一樣，我們可以根據飛機的物理形狀和發動機等來說明它們是如何保持在空中的。”他表示，“目前，特別是在大型語言模型領域，人工智能還沒有達到這樣的水平。我們不知道它們是如何產生這些特性的。事實上，我們甚至不知道它們具有什麼特性，所以不能將這些現象與它們內部的工作原理聯繫起來。”因此，人工智能是一門需要繼續深入探索的科學。