(資料圖片僅供參考)

作者｜Neil Shen郵箱｜neilshen@pingwest.comSam Altman 的致辭發(fā)生在6月10日智源大會的AI安全與對齊分論壇上?，F(xiàn)場座無虛席，這位OpenAI CEO在屏幕上出現(xiàn)時，現(xiàn)場響起掌聲，幾乎所有人都舉起手機對著屏幕拍照。不過Altman本人顯得十分平靜，甚至是謹(jǐn)慎。這是去年ChatGPT攪動全球AI熱潮以來，Sam Altman 首度在中國背景的場合公開發(fā)表意見。事實上當(dāng)天他也在離中國不遠(yuǎn)的地方，此前他剛剛抵達(dá)首爾，見了韓國總統(tǒng)。在發(fā)表演講后，他還與智源研究院理事長張宏江進(jìn)行了一對一問答。以下為要點及實錄。

要點：

隨著我們在技術(shù)上越來越接近AGI，不對齊的影響和缺陷將呈指數(shù)級增長。

OpenAI目前使用強化學(xué)習(xí)人類反饋技術(shù)來確保AI系統(tǒng)有用與安全，同時也在探索新的技術(shù)，其中一個思路是使用AI系統(tǒng)來輔助人類去監(jiān)督別的AI系統(tǒng)。

十年內(nèi)人類將擁有強大的人工智能系統(tǒng)（AI System）。

OpenAI沒有相關(guān)的新的有關(guān)開源的時間表，盡管他承認(rèn)在有關(guān)AI安全的問題上，開源模型具有優(yōu)勢，但開源所有東西可能并不是一條（促進(jìn)AI發(fā)展的）最佳路線。

看明白神經(jīng)網(wǎng)絡(luò)比看明白人類腦子容易多了。

中國有最優(yōu)秀的人工智能人才，AI安全需要中國研究者的參與和貢獻(xiàn)。

以下為演講實錄：今天，我想談?wù)勎磥怼＞唧w來說，就是我們在人工智能能力方面看到的增長速度。我們現(xiàn)在需要做什么，為它們引入世界做好負(fù)責(zé)任的準(zhǔn)備，科學(xué)史教會我們，技術(shù)進(jìn)步遵循指數(shù)曲線。我們已經(jīng)能從歷史中看到這一點，從農(nóng)業(yè)、工業(yè)到計算革命。人工智能令人震撼的不僅是它的影響力，還有它的進(jìn)步速度。它拓展了人類想象力的邊界，并且以快速的步伐進(jìn)行著。想象一下，在未來十年里，通常被稱為通用人工智能（AGI）的系統(tǒng)，在幾乎所有領(lǐng)域都超越了人類的專業(yè)水平。這些系統(tǒng)最終可能超過我們最大公司的集體生產(chǎn)力。這里面潛藏著巨大的上升空間。人工智能革命將創(chuàng)造共享財富，并使提高每個人生活水平成為可能，解決共同挑戰(zhàn)，如氣候變化和全球衛(wèi)生安全，并以無數(shù)其他方式提高社會福祉。我深信這個未來，為了實現(xiàn)它并享受它，我們需要共同投資于AGI安全，并管理風(fēng)險。如果我們不小心，一個不符合目標(biāo)的AGI系統(tǒng)，可能會通過提供沒有根據(jù)的建議，破壞整個醫(yī)療系統(tǒng)。同樣地，一個旨在優(yōu)化農(nóng)業(yè)實踐的AGI系統(tǒng)可能會由于缺乏對長期可持續(xù)性的考慮而無意中耗盡自然資源或破壞生態(tài)系統(tǒng)，影響食品生產(chǎn)和環(huán)境平衡。我希望我們都能同意，推進(jìn)AGI安全是我們最重要的領(lǐng)域之一。我想把我剩下的講話重點放在我認(rèn)為我們可以從哪里開始的地方。一個領(lǐng)域是AGI治理，這是一項具有全球影響的技術(shù)。魯莽開發(fā)和部署造成的事故成本將影響我們所有人。在這方面，有兩個關(guān)鍵要素：首先，我們需要建立國際規(guī)范和標(biāo)準(zhǔn)，并通過包容的過程，在所有國家為AGI的使用制定平等統(tǒng)一的保護(hù)措施。在這些保護(hù)措施之內(nèi)，我們相信人們有充分的機會做出自己的選擇。其次，我們需要國際合作來建立對日益強大的人工智能系統(tǒng)安全開發(fā)的全球信任，以可驗證的方式。這不是一件容易的事情。我們需要作為國際社會投入持續(xù)而重要的關(guān)注，才能做好這件事。道德經(jīng)提醒我們，千里之行始于足下。我們認(rèn)為在這里采取最有建設(shè)性的第一步是與國際科技界合作。特別是，我們應(yīng)該促進(jìn)增加透明度和知識共享的機制，關(guān)于AGI安全方面的技術(shù)進(jìn)展。發(fā)現(xiàn)新出現(xiàn)安全問題的研究人員應(yīng)該為了更大的利益分享他們的見解。我們需要認(rèn)真考慮如何在尊重和保護(hù)知識產(chǎn)權(quán)權(quán)利的同時，鼓勵這種規(guī)范。如果我們做好了這一點，它將為我們打開新的大門，讓我們能夠加深合作。更廣泛地說，我們應(yīng)該投資、促進(jìn)和引導(dǎo)對目標(biāo)和安全研究的投資。在OpenAI，我們今天的目標(biāo)研究主要集中在技術(shù)問題上，即如何讓人工智能系統(tǒng)作為一個有用和安全的助手，在我們當(dāng)前的系統(tǒng)中行動。這可能意味著，我們?nèi)绾斡?xùn)練ChatGPT，使它不會發(fā)出暴力威脅或協(xié)助用戶進(jìn)行有害活動。但是隨著我們更接近AGI，任何不符合目標(biāo)的潛在影響和程度都將呈指數(shù)增長。為了提前解決這些挑戰(zhàn)，我們努力將未來災(zāi)難性結(jié)果的風(fēng)險降到最低。對于當(dāng)前系統(tǒng)，我們主要使用來自人類反饋的強化學(xué)習(xí)來訓(xùn)練我們的模型，使其作為一個有用和安全的助手行動。這是后期訓(xùn)練目標(biāo)技術(shù)中的一個例子，我們也在忙于開發(fā)新的技術(shù)。要做好這件事情需要很多艱苦的工程工作。從GPT-4完成預(yù)訓(xùn)練到部署它，我們花了8個月的時間來做這件事?？偟膩碚f，我們認(rèn)為我們在這方面走在了正確的軌道上。GPT-4比我們以前的任何模型都更符合目標(biāo)。然而，對于更先進(jìn)的系統(tǒng)來說，目標(biāo)仍然是一個未解決的問題，我們認(rèn)為這需要新的技術(shù)方法，以及更多的治理和監(jiān)督。想象一下，一個未來的AGI系統(tǒng)提出了10萬行二進(jìn)制代碼。人類監(jiān)督者不太可能檢測到這樣一個模型是否在做一些邪惡的事情。所以我們正在投資一些新的和互補的研究方向，我們希望能夠取得突破。一個是可擴展的監(jiān)督。我們可以嘗試使用人工智能系統(tǒng)來協(xié)助人類監(jiān)督其他人工智能系統(tǒng)。例如，我們可以訓(xùn)練一個模型來幫助人類監(jiān)督者發(fā)現(xiàn)其他模型輸出中的缺陷。第二個是可解釋性。我們想嘗試更好地理解這些模型內(nèi)部發(fā)生了什么。我們最近發(fā)表了一篇論文，使用GPT-4來解釋GPT-2中的神經(jīng)元。在另一篇論文中，我們使用模型內(nèi)部信息來檢測模型何時在說謊。雖然我們還有很長的路要走，但我們相信先進(jìn)的機器學(xué)習(xí)技術(shù)可以進(jìn)一步提高我們產(chǎn)生解釋的能力。最終，我們的目標(biāo)是訓(xùn)練人工智能系統(tǒng)來幫助目標(biāo)研究本身。這種方法的一個有希望的方面是，它隨著人工智能發(fā)展的步伐而擴展。隨著未來模型變得越來越聰明和有用作為助手，我們將找到更好的技術(shù)，實現(xiàn)AGI的非凡利益，同時減輕風(fēng)險，是我們這個時代最重要的挑戰(zhàn)之一。以下為對話實錄：張宏江：我們離人工智能還有多遠(yuǎn)？風(fēng)險是不是很緊迫，還是我們離它還很遙遠(yuǎn)？無論是安全的人工智能，還是潛在的不安全的人工智能。Sam Altman ：這個問題很難準(zhǔn)確預(yù)測時間，因為它需要新的研究思路，而這些思路并不總是按照規(guī)定的日程來發(fā)展的。它可能很快就會發(fā)生，也可能需要更長的時間。我認(rèn)為很難用任何程度的確定性來預(yù)測。但我確實認(rèn)為，在未來十年內(nèi)，我們可能會擁有非常強大的人工智能系統(tǒng)。在這樣的世界里，我認(rèn)為解決這個問題是重要而緊迫的，這就是為什么我呼吁國際社會共同合作來解決這個問題。歷史上確實給我們提供了一些新技術(shù)比許多人想象的更快地改變世界的例子。我們現(xiàn)在看到的這些系統(tǒng)的影響和加速度，在某種意義上是前所未有的。所以我認(rèn)為做好準(zhǔn)備，讓它盡快發(fā)生，并且解決好安全性方面的問題，考慮到它們的影響和重要性，是非常有意義的。張宏江：你感覺到了一種緊迫感嗎？Sam Altman：是的，我感覺到了。我想強調(diào)一下，我們并不真正知道。而且人工智能的定義也不同，但是我認(rèn)為在十年內(nèi)，我們應(yīng)該為一個擁有非常強大系統(tǒng)的世界做好準(zhǔn)備。張宏江：你在剛才的演講中也提到了幾次全球合作。我們知道世界在過去六七十年里面臨過很多危機。不過對于其中的很多危機，我們設(shè)法建立了共識和全球合作。你也正在進(jìn)行一次全球之旅。你正在推動什么樣的全球合作？你對目前收到的反饋感覺如何？Sam Altman：是的，我對目前收到的反饋非常滿意。我認(rèn)為人們非常認(rèn)真地對待人工智能帶來的風(fēng)險和機遇。我認(rèn)為在過去六個月里，這方面的討論已經(jīng)有了很大進(jìn)步。人們真正致力于找出一個框架，讓我們能夠享受這些好處，同時共同合作來減輕風(fēng)險。我認(rèn)為我們處于一個非常有利的位置來做這件事。全球合作總是很困難的，但我認(rèn)為這是一種機會和威脅，可以讓世界團(tuán)結(jié)起來。我們可以制定一些框架和安全標(biāo)準(zhǔn)，來指導(dǎo)這些系統(tǒng)的開發(fā)，這將是非常有幫助的。張宏江：在這個特定的話題上，你提到了高級人工智能系統(tǒng)的對齊是一個未解決的問題。我也注意到開放AI在過去幾年里投入了很多精力。你還提到了GPT-4是對齊方面的最佳例子。你認(rèn)為我們能否通過對齊來解決人工智能安全問題？或者這個問題比對齊更大？Sam Altman ：我認(rèn)為對齊這個詞有不同的用法。我認(rèn)為我們需要解決的是如何實現(xiàn)安全人工智能系統(tǒng)的整個挑戰(zhàn)。對齊在傳統(tǒng)意義上是指讓模型按照用戶的意圖行事，這當(dāng)然是其中的一部分。但我們還需要回答其他一些問題，比如我們?nèi)绾悟炞C系統(tǒng)是否做了我們想要它們做的事情，以及我們要根據(jù)誰的價值觀來對齊系統(tǒng)。但我認(rèn)為重要的是要看到實現(xiàn)安全人工智能所需要的全貌。張宏江：是的，對齊還是。如果我們看看GPT-4所做的事情，在很大程度上，它仍然是從技術(shù)角度來看的。但除了技術(shù)之外，還有許多其他因素。這是一個非常復(fù)雜的問題。通常復(fù)雜問題是系統(tǒng)性的。人工智能安全可能也不例外。除了技術(shù)方面之外，你認(rèn)為還有哪些因素和問題對人工智能安全至關(guān)重要？我們應(yīng)該如何應(yīng)對這些挑戰(zhàn)？特別是我們大多數(shù)人都是科學(xué)家，我們應(yīng)該做什么？Sam Altman：這當(dāng)然是一個非常復(fù)雜的問題。我會說沒有技術(shù)解決方案，其他一切都很難。我認(rèn)為把很多精力放在確保我們解決了安全方面的技術(shù)問題上是非常重要的。正如我提到的，弄清楚我們要根據(jù)什么樣的價值觀來對齊系統(tǒng)，這不是一個技術(shù)問題。它需要技術(shù)輸入，但它是一個需要全社會深入討論的問題。我們必須設(shè)計出公平、有代表性和包容性的系統(tǒng)。而且，正如你指出的，我們不僅要考慮人工智能模型本身的安全性，還要考慮整個系統(tǒng)的安全性。所以建立安全分類器和檢測器，可以在模型之上運行，可以監(jiān)控使用策略的遵守情況，這也很重要。然后，我也認(rèn)為很難提前預(yù)測任何技術(shù)會出現(xiàn)什么問題。所以從真實世界中學(xué)習(xí)和迭代地部署，看看當(dāng)你把模型放到現(xiàn)實中時會發(fā)生什么，并改進(jìn)它，并給人們和社會時間去學(xué)習(xí)和更新，并思考這些模型將如何以好的和壞的方式影響他們的生活。這也很重要。張宏江：你剛才提到了全球合作。你已經(jīng)訪問了很多國家，你提到了中國。但你能否分享一些你在合作方面取得的成果？你對下一步有什么計劃或想法？從這次世界之旅中，從你與各種政府、機構(gòu)、機構(gòu)之間的互動中？

Sam Altman：我認(rèn)為通常需要很多不同的視角和人工智能安全。我們還沒有得到所有的答案，這是一個相當(dāng)困難和重要的問題。

此外，正如所提到的，這不是一個純粹的技術(shù)問題，使人工智能安全和有益的。涉及在非常不同的背景下了解不同國家的用戶偏好。我們需要很多不同的投入才能實現(xiàn)這一目標(biāo)。中國擁有一些世界上最優(yōu)秀的人工智能人才。從根本上說，我認(rèn)為，考慮到解決高級人工智能系統(tǒng)對齊的困難，需要來自世界各地的最好的頭腦。所以我真的希望中國的人工智能研究人員在這里做出巨大的貢獻(xiàn)。

張宏江：我明白今天的論壇是關(guān)注AI安全的，因為人們對OpenAI很好奇，所以我有很多關(guān)于OpenAI的問題，不僅僅是AI安全。我這里有一個觀眾的問題是，OpenAI有沒有計劃重新開源它的模型，就像在3.0版本之前那樣？我也認(rèn)為開源有利于AI安全。Sam Altman：我們有些模型是開源的，有些不是，但隨著時間的推移，我認(rèn)為你應(yīng)該期待我們將來會繼續(xù)開源更多的模型。我沒有一個具體的模型或時間表，但這是我們目前正在討論的事情。張宏江：我們把所有的努力都投入到了開源中，包括模型本身、開發(fā)模型的算法、優(yōu)化模型和數(shù)據(jù)之間關(guān)系的工具。我們相信有必要分享，并讓用戶感覺到他們控制了自己所使用的東西。你是否有類似的反饋？或者這是你們在OpenAI中討論的內(nèi)容？Sam Altman：是的，我認(rèn)為開源在某種程度上確實有一個重要的作用。最近也有很多新的開源模型出現(xiàn)。我認(rèn)為API模型也有一個重要的作用。它為我們提供了額外的安全控制。你可以阻止某些用途。你可以阻止某些類型的微調(diào)。如果某件事情不起作用，你可以收回它。在當(dāng)前模型的規(guī)模下，我不太擔(dān)心這個問題。但是隨著模型變得像我們期望的那樣強大，如果我們對此是正確的，我認(rèn)為開源一切可能不是最佳路徑，盡管有時候它是正確的。我認(rèn)為我們只需要仔細(xì)地平衡一下。張宏江：關(guān)于GPT-4和AI安全方面的后續(xù)問題是，我們是否需要改變整個基礎(chǔ)設(shè)施或整個AGI模型的架構(gòu)，以使其更安全、更容易被檢查？你對此有什么想法？Sam Altman：這肯定有可能，我們需要一些非常不同的架構(gòu)，無論是從能力還是從安全性方面來看。我認(rèn)為我們將能夠在可解釋性方面取得一些進(jìn)展，在當(dāng)前類型的模型上，并讓它們更好地向我們解釋它們在做什么以及為什么。但是，如果在變換器之后還有另一個巨大的飛躍，那也不會讓我感到驚訝。而且實際上我們已經(jīng)在原始的變換器之后，架構(gòu)已經(jīng)發(fā)生了很大的變化。張宏江：作為一個研究人員，我也很好奇，下一步的AGI研究方向是什么？在大模型、大語言模型方面，我們會不會很快看到GPT-5？下一個前沿是不是在具身模型上？自主機器人是不是OpenAI正在或者準(zhǔn)備探索的領(lǐng)域？Sam Altman：我也很好奇下一步會發(fā)生什么，我最喜歡做這項工作的原因之一就是在研究的前沿，有很多令人興奮和驚訝的事情。我們還沒有答案，所以我們在探索很多可能的新范式。當(dāng)然，在某個時候，我們會嘗試做一個GPT-5模型，但不會是很快。我們不知道具體什么時候。我們在OpenAI剛開始的時候就做過機器人方面的工作，我們對此非常感興趣，但也遇到了一些困難。我希望有一天我們能夠回到這個領(lǐng)域。張宏江：聽起來很棒。你在演講中也提到了你們是如何用GPT-4來解釋GPT-2的工作原理，從而使模型更安全的例子。這種方法是可擴展的嗎？這種方向是不是OpenAI未來會繼續(xù)推進(jìn)的？Sam Altman：我們會繼續(xù)推進(jìn)這個方向。張宏江：那你認(rèn)為這種方法可以應(yīng)用到生物神經(jīng)元上嗎？因為我問這個問題的原因是，有一些生物學(xué)家和神經(jīng)科學(xué)家，他們想借鑒這個方法，在他們的領(lǐng)域里研究和探索人類神經(jīng)元是如何工作的。Sam Altman：在人工神經(jīng)元上觀察發(fā)生了什么比在生物神經(jīng)元上容易得多。所以我認(rèn)為這種方法對于人工神經(jīng)網(wǎng)絡(luò)是有效的。我認(rèn)為使用更強大的模型來幫助我們理解其他模型的方法是可行的。但我不太確定你怎么把這個方法應(yīng)用到人類大腦上。張宏江：好的，謝謝你。既然我們談到了AI安全和AGI控制，那么我們一直在討論的一個問題是，如果這個世界上只有三個模型，那么會不會更安全？這就像核控制一樣，你不想讓核武器擴散。我們有這樣的條約，我們試圖控制能夠獲得這項技術(shù)的國家數(shù)量。那么控制模型數(shù)量是不是一個可行的方向？Sam Altman：我認(rèn)為對于世界上有少數(shù)模型還是多數(shù)模型更安全，有不同的觀點。我認(rèn)為更重要的是，我們是否有一個系統(tǒng)，能夠讓任何一個強大的模型都經(jīng)過充分的安全測試？我們是否有一個框架，能夠讓任何一個創(chuàng)造出足夠強大的模型的人，既有資源，也有責(zé)任，來確保他們創(chuàng)造出的東西是安全和對齊的？張宏江：昨天在這個會議上，MIT未來生命研究所的Max教授提到了一種可能的方法，就是類似于我們控制藥物開發(fā)的方式?？茖W(xué)家或者公司開發(fā)出新藥，你不能直接上市。你必須經(jīng)過這樣的測試過程。這是不是我們可以借鑒的？Sam Altman：我絕對認(rèn)為，我們可以從不同行業(yè)發(fā)展出來的許可和測試框架中借鑒很多東西。但我認(rèn)為從根本上說，我們已經(jīng)有了一些可以奏效的方法。張宏江：非常感謝你，Sam。謝謝你抽時間來參加這次會議，雖然是虛擬的。我相信還有很多問題，但考慮到時間，我們不得不到此為止。希望下次你有機會來中國，來北京，我們可以有更深入的討論。非常感謝你?！?文章版權(quán)歸品玩所有，未經(jīng)授權(quán)不得轉(zhuǎn)載。· 發(fā)送關(guān)鍵詞 轉(zhuǎn)載、合作、招聘