越來越卷的AI，未來路在何方

以下文章來源于數(shù)據(jù)STUDIO ，作者路

在今年的三月10日，Robust.AI 創(chuàng)始人、紐約大學名譽教授 Gary Marcus 表示端到端的深度學習可能將要撞到南墻了。在他的一些文章中，他認為目前的端到端深度學習會在我們需要粗略結(jié)果時表現(xiàn)得很好，但在讓真正人工智能具備理解能力這件事上早已遇到瓶頸。而他認為人工智能的正確發(fā)展方向可能是符號系統(tǒng)+神經(jīng)網(wǎng)絡的混合系統(tǒng)。

Marcus推特，圖片來源@Twitter

為什么他會提出這樣的觀點，目前人工智能的發(fā)展方向到底出了什么問題？而符號系統(tǒng)又是什么體系，AI的未來是否真正和它有關(guān)系？本文就針對此問題進行討論。

要討論智能，首先需要強調(diào)人類的兩類認知系統(tǒng)。認知科學中將人類的認知分為系統(tǒng)1和系統(tǒng)2，其中系統(tǒng)1表示直覺的、快速的、無意識的、非語言的、習慣的認知系統(tǒng)，系統(tǒng)2則表示慢的、有邏輯的、有序的、有意識的、可用語言表達以及可推理的系統(tǒng)。想要形象地理解這兩者可以看下圖。

穆勒-萊爾視覺，圖片來源@知乎

該圖是經(jīng)典的穆勒-萊爾幻覺，實際上三個線段長度相同，但在第一眼看上去會認為它們長度不同。這里認為它們長度不同的第一直覺就運用了系統(tǒng)1，經(jīng)過推理后得出它們長度相同的結(jié)論就運用了系統(tǒng)2。目前的深度學習，具備快速、端到端、非語言、不可解釋的特點，就類似于人類智能中的系統(tǒng)1。但我們知道，人的智能絕不僅僅限制于直覺，而是具有推理能力和可解釋性的系統(tǒng)2。因此未來想要發(fā)展出真正人性化的人工智能，需要的不是繼續(xù)在系統(tǒng)1人工智能的領域深耕，而是轉(zhuǎn)向系統(tǒng)2人工智能進行研究。提起人工智能不得不首先提及圖靈。早在1950年，圖靈就提出了著名的圖靈測試，用于測試機器能否表現(xiàn)出與人等價或無法區(qū)分的智能。在1956年的達特茅斯會議上，“人工智能”的概念被首次提出。這是人類歷史上第一次人工智能研討，標志著人工智能學科的誕生。之后在人工智能的發(fā)展過程中，不同時代、學科背景的人對于智慧的理解及其實現(xiàn)方法有著不同的思想主張，并由此衍生了不同的學派，影響較大的學派及其代表方法如下：

人工智能學派，圖片來源@知乎

其中聯(lián)結(jié)主義和符號主義是最主要的兩大派系。近年來由于強化學習取得了顯著成就（AlphaZero稱霸圍棋領域），行為主義學派也越來越受重視。在人工智能的發(fā)展過程中，不同的學派提出了不同的研究方法，其中最主要的一個分支就是機器學習。目前常見的機器學習算法如下圖所示，該圖按照有監(jiān)督學習、無監(jiān)督學習和強化學習的類別進行分類，需要強調(diào)有一些算法游離于這個體系之外（如PCA降維），有一些算法不僅僅局限于標記出的這一個類別（如神經(jīng)網(wǎng)絡）。

機器學習分類，圖片來源@自制

需要強調(diào)的是，人工智能包括機器學習，機器學習包括深度學習，相互之間是包含和被包含的關(guān)系。目前而言，在各種問題領域效果最好的無疑是深度學習。

深度學習（即神經(jīng)網(wǎng)絡）最近幾年的興起始于2012年，Hinton和他的學生Alex Krizhevsky設計的AlexNet神經(jīng)網(wǎng)絡模型在ImageNet競賽大獲全勝，這是史上第一次有模型在 ImageNet 數(shù)據(jù)集上有如此出色的表現(xiàn)，并因此引爆了神經(jīng)網(wǎng)絡的研究熱情。但和很多人想象中不同，神經(jīng)網(wǎng)絡在很早之前就已經(jīng)產(chǎn)生。1957年，F(xiàn)rank Rosenblatt就已經(jīng)在當時的計算機上模擬實現(xiàn)了感知機（Perceptron），可以被視為一種最簡單形式的前饋式人工神經(jīng)網(wǎng)絡。1974年，哈佛大學Paul Werbos在其博士論文里首次提出了通過誤差的反向傳播(BP)來訓練人工神經(jīng)網(wǎng)絡，但局限于算力在該時期未引起重視。1982年，John Hopfield發(fā)明了霍普菲爾德網(wǎng)絡，這是最早的RNN的雛形。1986年，Hinton等人先后提出了多層感知器(MLP)與反向傳播（BP）訓練相結(jié)合的理念，開啟了神經(jīng)網(wǎng)絡新一輪的高潮，但同樣由于算力不足未能取得較大突破。1989年，LeCun 結(jié)合反向傳播算法與權(quán)值共享的卷積神經(jīng)層發(fā)明了卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN），并首次將卷積神經(jīng)網(wǎng)絡成功應用到美國郵局的手寫字符識別系統(tǒng)中（類似于現(xiàn)在的MNIST數(shù)據(jù)集）。1997年，Sepp Hochreiter 和 Jürgen Schmidhuber提出了長短期記憶神經(jīng)網(wǎng)絡(LSTM)。2006年，Hinton以及他的學生正式提出了深度學習的概念（Deeping Learning），這一年也被稱為深度學習元年，而Hinton被稱為深度學習之父。之后自從2012年AlexNet網(wǎng)絡的爆火直到現(xiàn)在，深度學習一直是人工智能研究的最前沿，陸陸續(xù)續(xù)解決了許多不同領域的各種問題。

神經(jīng)網(wǎng)絡，圖片來源@知乎

但同時，深度學習也有許多不可忽視的缺點：只能根據(jù)既有的數(shù)據(jù)來學習而不會判斷數(shù)據(jù)正確性，且無法解釋做出的決策。而從系統(tǒng)設計的角度上來說，深度學習正因為犧牲了微觀和主動意義上的可解釋性（如設定某個節(jié)點或者某個參數(shù)的含義），轉(zhuǎn)向架構(gòu)和機制上的設計，從而獲得了系統(tǒng)描述能力上的靈活性。即深度學習取得如此優(yōu)秀成績的原因，恰恰是因為其有這些缺點。到目前為止，深度學習的唯一真正的成功是使用連續(xù)幾何變換將空間 X 映射到空間 Y 的能力，但還要給出大量的人為注釋的數(shù)據(jù)。神經(jīng)網(wǎng)絡做到的這一切基本上能改變每一個行業(yè)的游戲規(guī)則，但是距離第二類人工智能還有很長一段路要走。為了讓 AI 解決這些限制，并開始與人類大腦競爭，我們需要跳出簡單的輸入到輸出映射，關(guān)注推理和抽象。這也是Gary Marcus認為需要引入符號系統(tǒng)的原因之一。那么除了深度學習之外，機器學習的其他類型能否成為AI未來所走的道路呢？

如本文第一部分所述，深度學習被包含在機器學習里面。而機器學習又可分為主要三種類型：有監(jiān)督學習、無監(jiān)督學習和強化學習。在監(jiān)督學習中，計算機從過去的數(shù)據(jù)中學習，并將學習的結(jié)果應用到當前的數(shù)據(jù)中，以預測未來的事件。在無監(jiān)督學習中，計算機使用既未分類也未標記的數(shù)據(jù)自行學習。在強化學習中，計算機通過與環(huán)境進行交互獲得的獎賞指導行為。

有監(jiān)督學習和無監(jiān)督學習的區(qū)別，圖片來源@知乎

目前而言，無監(jiān)督學習很難取得突破性進步。在機器學習領域，輸入數(shù)據(jù)一般是現(xiàn)實生活中的數(shù)據(jù)。這些數(shù)據(jù)存在著動力學特征、邏輯聯(lián)系等等，對于人類來說，這很容易找到其中的關(guān)系、但是對只有邏輯計算能力和數(shù)學計算能力的計算機來說，這很難去理解。事實上很有可能需要等計算機擁有自主邏輯思考和推理能力后，無監(jiān)督學習才能取得較大突破，即無監(jiān)督學習不是系統(tǒng)2人工智能的產(chǎn)生方式，而是系統(tǒng)2人工智能的產(chǎn)生結(jié)果。而有監(jiān)督學習，包括深度學習，無論方法如何繁復，其本質(zhì)都是一樣的，就是在大量輸入輸出數(shù)據(jù)中找出一個能夠較好擬合輸入對應輸出的函式。這使得在訓練集能較好地代表整個數(shù)據(jù)集的分布時，有監(jiān)督學習能取得較好的結(jié)果。而訓練集無法代表整個數(shù)據(jù)集時，會大大降低有監(jiān)督學習的效果。這也是有監(jiān)督學習中數(shù)據(jù)處理往往占據(jù)最重要地位的原因。要想在有監(jiān)督學習中取得更精確的效果，就必須獲取更多的數(shù)據(jù)進行訓練，這些數(shù)據(jù)往往都需要人工進行標注。有監(jiān)督學習的學習結(jié)果類似于我們?nèi)祟愡M行大量訓練后在相似情景下第一直覺做出的反應，并沒有超出系統(tǒng)1人工智能的范疇。此外，有監(jiān)督學習還有一個巨大的隱患就是當其遇到與訓練集差別巨大的數(shù)據(jù)時，其輸出結(jié)果極為不可控（例如特斯拉事故）。那么，強化學習能否產(chǎn)生更人性化的智能呢？

從理論上看，強化學習中計算機通過與環(huán)境進行交互獲得的獎賞指導行為，更類似于我們?nèi)祟惖膶W習方式，而且AlphaZero及其他強化學習模型的成功應用似乎也證實了這一點。強化學習的學習過程為設計獎勵函數(shù)、模型進行訓練、按照獎勵結(jié)果進行自我調(diào)整，比起深度學習模型來說，確實更有主動學習的味道。目前圍繞深度強化學習的一些實驗已經(jīng)取得了一定的成功，可以教會深度強化學習智能體玩一些電子游戲和棋類游戲。但是將深度強化學習的任何成果轉(zhuǎn)移到現(xiàn)實世界的生產(chǎn)系統(tǒng)中，卻無一例外都失敗了。這是為什么呢？

強化學習，圖片來源@知乎

舉一個現(xiàn)實點的例子。假設你需要教會機械臂幫你疊衣服，你該如何寫一個獎勵函數(shù)來獎勵或懲罰它呢？當你向另一個人描述這一點很容易，你可以說“把這堆衣服疊整齊”。但是，計算機并不理解“整齊”是什么意思。對于每個步驟，都必須用一種計算機能夠自己衡量進展的方式來設計獎勵函數(shù)，而不需要知道它實際在做什么。因此，可能會從機械臂觸摸褲子開始獎勵，然后機械臂抓住褲子或者移動褲子就獎勵更多的分數(shù)。接下來實際的折疊動作這塊，該如何獎勵呢？疊三折可以得到獎勵嗎？不起皺的話，獎勵怎么算？看到問題的關(guān)鍵出在哪里了嗎？獎勵函數(shù)的設計。針對游戲、棋類這種人類定義好規(guī)則的行為，我們當然可以輕易地設定好獎勵函數(shù)來訓練模型。但是針對現(xiàn)實中的、非人類預定好的各種情況，想要設計獎勵函數(shù)需要從環(huán)境中抽象出規(guī)則，抽象的這個過程需要人類智能的參與。比如疊衣服中的“整齊”，人類有智能可以輕松理解整齊的含義，但計算機不理解，就需要人類通過自己的智能將“整齊”的各種規(guī)則抽象成獎勵函數(shù)。要想解決這個問題需要計算機能自己從環(huán)境中進行規(guī)則抽象，例如讓計算機理解“整齊”的含義，而這又跟無監(jiān)督學習一樣，強化學習成了系統(tǒng)2人工智能的產(chǎn)生結(jié)果，而非系統(tǒng)2人工智能的產(chǎn)生方式。因此強化學習也很難真正成為AI未來的發(fā)展道路，只能在有明確獎勵機制的問題中發(fā)光發(fā)熱。

以數(shù)據(jù)的對象、存儲以及應用來說，無論是神經(jīng)系統(tǒng)還是符號系統(tǒng)，數(shù)據(jù)建模的目的都是求解給定輸入問題的答案。而符號系統(tǒng)主要支持結(jié)構(gòu)化的查詢、推理引擎等，能夠?qū)崿F(xiàn)復雜問題的求解，用來處理離散的、結(jié)構(gòu)性的表示、操作以及知識（包括圖結(jié)構(gòu)、變量、遞歸和指代等），具有清晰、精確、高執(zhí)行效率、可解釋的優(yōu)點。可以認為結(jié)構(gòu)化數(shù)據(jù)庫是目前符號系統(tǒng)的最典型應用。ACM圖靈獎獲得者Leslie Valiant曾精辟地指出：神經(jīng)系統(tǒng)側(cè)重對數(shù)據(jù)特征的學習過程，而符號系統(tǒng)包含的一定是一個搜索過程，后續(xù)大量面向符號系統(tǒng)的研究本質(zhì)上致力于各種高效的搜索算法。

符號系統(tǒng)，圖片來源@百度學術(shù)

總的來說，符號系統(tǒng)具有完備的推理過程和良好的可解釋性，而“神經(jīng)+符號”系統(tǒng)無疑是人工智能的理想模型。一個完美的“神經(jīng)+符號”系統(tǒng)應該具有以下特點和優(yōu)勢：可以輕松處理目前主流機器學習擅長的問題；對于數(shù)據(jù)噪音有較強的魯棒性；系統(tǒng)的求解過程和結(jié)果容易被人理解、解釋和評價；可以很好地對各類符號進行操作；可以無縫地利用各種背景知識。然而，實現(xiàn)“神經(jīng)+符號”的有機結(jié)合并不容易。目前而言，“神經(jīng)+符號”的結(jié)合工作主要可以分為神經(jīng)助力符號和符號助力神經(jīng)兩類，仍停留在僅以一方為主，并到另一方問題的適用或遷移，實現(xiàn)“神經(jīng)+符號”真正有機結(jié)合的系統(tǒng)還任重道遠。現(xiàn)如今，AI的研究領域仍以深度學習為代表的有監(jiān)督學習為主，實現(xiàn)各種交叉領域的系統(tǒng)1人工智能。但隨著對人工智能研究的愈加深入，有越來越多的人意識到了深度學習模型的一些問題和局限性。筆者并不能確定神經(jīng)網(wǎng)絡+符號系統(tǒng)的研究方向一定是對的，但就目前而言，結(jié)合神經(jīng)與符號的方向值得我們?nèi)ラ_拓和探索。哪怕最后不能取得滿意的效果，相信也會在讓AI具有推理能力的問題上取得進展。參考鏈接：https://www.51cto.com/article/627025.html
https://www.afenxi.com/116462.html
https://www.jiqizhixin.com/articles/101402
https://www.infoq.cn/article/RHWNI4h2x3Ao7I0exHMl
https://zhuanlan.zhihu.com/p/235270477
https://zhuanlan.zhihu.com/p/87153966
https://zhuanlan.zhihu.com/p/375549477
https://zhuanlan.zhihu.com/p/158896481
https://blog.keras.io/the-limitations-of-deep-learning.html