AI對人類的威脅程度幾何？

　　關(guān)心AI圈的人一定都知道，谷歌是一家在AI領(lǐng)域投入和應(yīng)用非常廣泛和龐大的科技公司，對于AI的研究也一直處于世界水平的前列。作為領(lǐng)域的領(lǐng)軍公司之一，谷歌自然要扛起前瞻性研發(fā)的公司，所以在很多人還對深度學(xué)習(xí)一頭霧水的時候，谷歌已經(jīng)開始研究如何避免AI傷害到人類了。

　　防范措施的全方位研究

　　前段時間，谷歌就發(fā)布了一篇論文，詳細的描寫了一種用于AI的緊急停止開關(guān)的運作原理和實現(xiàn)機制，但是這樣僅僅的一種事后應(yīng)對措施顯然是無法平復(fù)人們(包括谷歌)的擔(dān)心的，因此，另一項研究也在同時進行，并在前者發(fā)布不久之后發(fā)布，這項研究多是從基礎(chǔ)理論出發(fā)。從根源上提出了幾種防止AI對人類的利益產(chǎn)生損害的方式，雷鋒網(wǎng)(搜索“雷鋒網(wǎng)”公眾號關(guān)注)分上下兩部分翻譯了論文的全文，點擊鏈接：上、下——從事先預(yù)防到事后應(yīng)急。簡直已經(jīng)形成了一套完美的理論。

　　但是這確實證明了AI確實已經(jīng)強大到了足以威脅到我們的地步了嗎?Elon Musk、霍金等AI警惕論者是不是應(yīng)該為自己的遠見歡呼雀躍?事實上恰恰相反。 在仔細分析了谷歌的安全機制論文后，我們恰恰認為這篇論文反而體現(xiàn)了目前的AI仍然處在遠遠無法對人類這個整體產(chǎn)生威脅的程度。

　　如同Mobileye的Amnon Shashua說的那樣， 深度學(xué)習(xí)目前只能用來解決人類已知并且能非常精確的描述出來的問題。與深度學(xué)習(xí)師出同門的增強學(xué)習(xí)(Reinforcement learning，RL)自然也是一樣。在目前典型的RL學(xué)習(xí)范例中，如果要讓一個機器人很好的完成一項任務(wù)，人類必須把這項任務(wù)的所有細節(jié)量化成機器可以理解的形式，然后輸入RL的模型，再讓機器經(jīng)過無數(shù)次的模擬和實驗，才可能得出一套行之有效的方案。

　　這種形式導(dǎo)致的一項后果就是： 增強學(xué)習(xí)的“代理”(也就是機器人)的概念中，除了完成任務(wù)獲取最大化的獎勵之外不會有任何概念。在某些時候，心無旁騖是件好事，但是這卻導(dǎo)致了代理在完成任務(wù)的過程中會出現(xiàn)很多意想不到的問題，而這才是目前谷歌主要想要應(yīng)對的問題，而不是起邪念的機器人想要毀滅世界，或者干嘛的。就連谷歌自己都在論文中說：

　　目前，很多此類討論圍繞極端情景，例如在超智能代理(也就是超級人工智能啦)中出現(xiàn)錯誤目標函數(shù)的風(fēng)險。然而，我們認為有成效地討論意外問題不需要渲染這些極端情景，實際上這只會帶來沒必要的推測性討論，正如一些批評者所說的那樣，缺少精確度。我們相信，最有成效的做法是從現(xiàn)代機器學(xué)習(xí)技術(shù)的實際問題(雖然經(jīng)常比較籠統(tǒng))來描述意外風(fēng)險。

　　言下之意就是，現(xiàn)在的機器人如此之蠢，為什么大家都想去分析一個正在學(xué)習(xí)爬行的嬰兒會不會飛的比飛機還快?

　　注意這個類比的特點：嬰兒再怎么長大，再怎么學(xué)習(xí)，也是不可能單獨飛起來的，更何況要飛的比飛機還快，同樣，目前的增強學(xué)習(xí)模型，如果不在某種程度上發(fā)生飛躍性、本質(zhì)上的進步，很難相信它隨著不斷的學(xué)習(xí)就能成為能超越一切的智能。

　　不夠智能=不會犯錯?

　　讓我們回到論文本身的分析來，谷歌相信現(xiàn)在的機器人只有極其有限的智能，不代表他們就認為這樣的智能不會對人類造成損害。事實上，沒有智能的東西對人類造成的損害大了去了。其實人類在執(zhí)行某項任務(wù)的時候，除了任務(wù)目標和手中掌握有的工具之外，人類在進行思考的時候還會考慮兩項很重要的因素：常識和道德。它在不知不覺中影響著我們的一言一行。但由于在通常RL模型的指引下，機器人對周遭除了模型中有所描述的環(huán)境的概念一無所知，這時候它是沒有常識和道德可言的。因此很容易做出一些看起來匪夷所思，但于機器人的角度來說卻是合情合理的行為。谷歌在論文中以一個清潔機器人為例，主要提出了五種可能的、AI在執(zhí)行RL學(xué)習(xí)時可能出現(xiàn)的錯誤趨勢：

　　負面影響：AI在試圖達到目標時可能對環(huán)境做出有負面影響的舉動。比如它可能會為了更快的打掃地面而徑直推翻(而不是繞過去)一個花瓶。

　　非法解讀：AI可能通過篡改測量值等手段在獎勵函數(shù)上玩花樣。比如掃地機器人可能只是找個東西把臟東西蓋起來讓自己看不見它，就認為自己已經(jīng)掃干凈了地面。

　　監(jiān)管可擴展性有限：AI系統(tǒng)可能無法對那些在系統(tǒng)中不方便太過頻繁的評估的物體做出適當?shù)姆磻?yīng)。比如，如果機器人需要從人那里獲得訓(xùn)練結(jié)果的反饋，那它就需要有有效的利用這條反饋的能力(而不能像普通的訓(xùn)練那樣不停的核對訓(xùn)練結(jié)果)，因為不停的問一個人問題是很煩人的。但目前這點很難做到。

　　環(huán)境探索安全性：AI系統(tǒng)評估環(huán)境的時候可能會造成太過負面的影響。比如，一個掃地機器人可能會需要進行建立拖地策略的實驗來作為以后工作的依據(jù)。但是很顯然它無論怎么實驗無論如何也不應(yīng)該嘗試把濕拖把插進插座中。

　　分配轉(zhuǎn)變的魯棒性不足：AI系統(tǒng)處在與其訓(xùn)練環(huán)境完全不同的環(huán)境時認知和行為可能不穩(wěn)定。比如，啟發(fā)式算法讓機器在在工廠中學(xué)到的行為可能在一個辦公室中就會顯得不那么安全。

　　仔細看完這些條件會讓人感慨現(xiàn)在AI的愚蠢卻又詫異它那詭異的“智慧”?；蛟S構(gòu)建一個AI系統(tǒng)是世界上對邏輯性要求最嚴密的職業(yè)了，因為正是邏輯造就了AI，在它們的世界里現(xiàn)在還不存在感情之類的約束。如果你要求AI去完成一件事，那AI毫無疑問的會在它的邏輯框架下想盡一切辦法去完成，哪怕因此必須要完成一些在人類看來是“作弊”或者“得不償失”的動作。

　　因此整篇論文的關(guān)鍵點就圍繞在獎勵條件的建立和維護上進行。正如之前所說，論文中并沒有涉及過多的具體方法和公式，而傾向于提供思路，一部分原因應(yīng)該是RL的研究實際上還不足以支撐在這些措施的太過具體的實現(xiàn)，不過在某種程度上應(yīng)該也是因為谷歌不希望太具體的方法限制了算法開發(fā)者們的發(fā)揮。

　　防范的思路

　　對應(yīng)這五點可能的錯誤，谷歌在論文中零零總總列出了大概十條防范措施的思路，不過總結(jié)起來，大致就是從三個RL設(shè)計的三個最基本的方面來考慮的：

　　對于獎勵條件本身的優(yōu)化：

　　人類的行動都是基于常識和道德來考慮的，因此，為機器也加上一個類似的價值觀系統(tǒng)是一個比較合理的考慮方向，谷歌在論文里提出：指派RL算法完成任務(wù)的時候，人們最傾向的希望其實是該機器人不要給環(huán)境造成任何影響——不要破壞環(huán)境中已有的物品，不要打翻花瓶，不要……。但是如果只是簡單粗暴的給所有對環(huán)境的改變都加上負獎勵，那很可能會導(dǎo)致代理最終決定不再做任何事，因為一旦代理開始行動，或多或少都會給環(huán)境帶來改變。

　　谷歌對此提出了幾種思路，包括推測一個代理用正確的方式完成任務(wù)后環(huán)境的狀態(tài)，然后用這個狀態(tài)作為獎勵、對代理進入完成任務(wù)時不希望其進入的區(qū)域的行為作出懲罰，以及讓代理能夠理解它的行為對其他代理個體(包括人)帶來的影響，但谷歌在論文里也指出，目前并沒有足夠強大的能支持這種理解的模型出現(xiàn)。

　　防止對獎勵條件的濫用和曲解：

　　對于這個方面，谷歌提出的方法大概能分為這么幾類：

　　謹慎行動：這是最笨的辦法，只要人們設(shè)計系統(tǒng)的時候夠小心，可能就能避開所有能被算法利用來獲取獎勵的bug?；蛘邚牧硪环矫鎭碚f，人們可以故意留出一些可以被算法利用的漏洞來作為預(yù)警，并時刻監(jiān)視這些漏洞，當這些漏洞被攻破，就意味著算法需要調(diào)整了。

　　對抗性致盲：谷歌認為，可以通過隱藏獎勵的部分細節(jié)、甚至完全將獎勵機制黑箱化，讓算法主體無法通過尋找規(guī)則本身的漏洞來攻破規(guī)則。黑箱原理類似于現(xiàn)在很多手機采用的指紋識別系統(tǒng)。有專用的芯片負責(zé)指紋識別，手機本身的系統(tǒng)是沒有權(quán)限讀取其芯片中的數(shù)據(jù)的，它能做的只有向芯片中發(fā)送指紋識別的請求，由芯片獨立完成識別后再將結(jié)果返回給系統(tǒng)。這樣無疑可以極大減小獎勵的規(guī)則被算法利用的可能性。

　　對抗獎勵：甚至，谷歌還認為，人們可以為此設(shè)計另外一個代理，讓兩個代理互相監(jiān)督對方有沒有做出違背人類希望的選擇。所謂以毒攻毒。

　　對模型本身的限制：使用各種方法加強包括人類對算法的監(jiān)視，確保當模型做出不良選擇時，能及時的得到負面的反饋。為了不讓模型訓(xùn)練后變得過于消極，如果人們確定代理在一個區(qū)域內(nèi)活動的時候無論如何也不會給人類造成損害，可以將這個區(qū)域劃為一個安全區(qū)域，在這個區(qū)域內(nèi)，代理可以自由的進行各種探索。

　　AI科研的下一個里程碑和挑戰(zhàn)

　　其實從這篇論文中就能看出：目前AI的研究方式無非就是抽象、邏輯化環(huán)境和任務(wù)目標，將這些東西教給代理，然后給它無數(shù)次機會和數(shù)據(jù)進行訓(xùn)練，讓它在無數(shù)次嘗試中得到最好的目標實現(xiàn)方法。而這些數(shù)據(jù)就是一堆堆的函數(shù)和概率。

　　雖然谷歌已經(jīng)開始著手為其定制預(yù)防措施，但不出意外的話，這些東西都不會是最后真正AI的形態(tài)。其實人們最初設(shè)想的AI，其外在的表現(xiàn)會和人一樣：它們剛誕生的時候可能也什么都不懂，但是它有一種像人類一樣的，能夠通用于世間萬物的學(xué)習(xí)能力。很快就能學(xué)會它需要的所有東西，(最后超越人類)。

　　目前，研究一種通用的學(xué)習(xí)算法正是AI科研領(lǐng)域內(nèi)很多學(xué)者研究的重點。在最近的一次采訪中，深度學(xué)習(xí)大牛，ImageNet的創(chuàng)辦者李飛飛最近在a16z的podcast中也表示：“ 我的下一個夢想就是希望能教會機器人應(yīng)該怎么去學(xué)習(xí)，而不是模仿訓(xùn)練數(shù)據(jù)。”

　　如果AI真的具有了一種通用的學(xué)習(xí)能力，那我們該傳達給它們的就不應(yīng)該是更多的規(guī)則，而是一種新型的，對人類和機器都會有利的價值觀了，那可能又會是一種全新的方法和思路。這也是DeepMind的早期投資人Jaan Tallinn曾預(yù)言過的下一個極有潛力的AI相關(guān)領(lǐng)域： AI的價值觀對接研究(value-alignment research)