幾經(jīng)沉浮，人工智能前路何方？（2）

2.4 平穩(wěn)發(fā)展期：20世紀90年代—2010年

由于互聯(lián)網(wǎng)技術的迅速發(fā)展，加速了人工智能的創(chuàng)新研究，促使人工智能技術進一步走向?qū)嵱没?，人工智能相關的各個領域都取得長足進步。在2000年代初，由于專家系統(tǒng)的項目都需要編碼太多的顯式規(guī)則，這降低了效率并增加了成本，人工智能研究的重心從基于知識系統(tǒng)轉(zhuǎn)向了機器學習方向。

1995年，Cortes和Vapnik提出聯(lián)結主義經(jīng)典的支持向量機(Support Vector Machine)，它在解決小樣本、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應用到函數(shù)擬合等其他機器學習問題中。

支持向量機（Support Vector Machine, SVM）可以視為在感知機基礎上的改進，是建立在統(tǒng)計學習理論的VC維理論和結構風險最小原理基礎上的廣義線性分類器。與感知機主要差異在于：1、感知機目標是找到一個超平面將各樣本盡可能分離正確(有無數(shù)個)，SVM目標是找到一個超平面不僅將各樣本盡可能分離正確，還要使各樣本離超平面距離最遠(只有一個最大邊距超平面)，SVM的泛化能力更強。2、對于線性不可分的問題，不同于感知機的增加非線性隱藏層，SVM利用核函數(shù)，本質(zhì)上都是實現(xiàn)特征空間非線性變換，使可以被線性分類。

1995年， Freund和schapire提出了 AdaBoost (Adaptive Boosting)算法。AdaBoost采用的是Boosting集成學習方法——串行組合弱學習器以達到更好的泛化性能。另外一種重要集成方法是以隨機森林為代表的Bagging并行組合的方式。以“偏差-方差分解”分析，Boosting方法主要優(yōu)化偏差，Bagging主要優(yōu)化方差。

Adaboost迭代算法基本思想主要是通過調(diào)節(jié)的每一輪各訓練樣本的權重(錯誤分類的樣本權重更高)，串行訓練出不同分類器。最終以各分類器的準確率作為其組合的權重，一起加權組合成強分類器。

1997年國際商業(yè)機器公司（簡稱IBM）深藍超級計算機戰(zhàn)勝了國際象棋世界冠軍卡斯帕羅夫。深藍是基于暴力窮舉實現(xiàn)國際象棋領域的智能，通過生成所有可能的走法，然后執(zhí)行盡可能深的搜索，并不斷對局面進行評估，嘗試找出最佳走法。

1997年，Sepp Hochreiter 和 Jürgen Schmidhuber提出了長短期記憶神經(jīng)網(wǎng)絡(LSTM)。

LSTM是一種復雜結構的循環(huán)神經(jīng)網(wǎng)絡（RNN），結構上引入了遺忘門、輸入門及輸出門：輸入門決定當前時刻網(wǎng)絡的輸入數(shù)據(jù)有多少需要保存到單元狀態(tài)，遺忘門決定上一時刻的單元狀態(tài)有多少需要保留到當前時刻，輸出門控制當前單元狀態(tài)有多少需要輸出到當前的輸出值。這樣的結構設計可以解決長序列訓練過程中的梯度消失問題。

1998年，萬維網(wǎng)聯(lián)盟的蒂姆·伯納斯·李(Tim Berners-Lee)提出語義網(wǎng)(Semantic  Web)的概念。其核心思想是：通過給萬維網(wǎng)上的文檔（如HTML）添加能夠被計算機所理解的語義(Meta data)，從而使整個互聯(lián)網(wǎng)成為一個基于語義鏈接的通用信息交換媒介。換言之，就是構建一個能夠?qū)崿F(xiàn)人與電腦無障礙溝通的智能網(wǎng)絡。

2001年，John Lafferty首次提出條件隨機場模型（Conditional random field，CRF）。CRF是基于貝葉斯理論框架的判別式概率圖模型，在給定條件隨機場P ( Y ∣ X ) 和輸入序列x，求條件概率最大的輸出序列y *。在許多自然語言處理任務中比如分詞、命名實體識別等表現(xiàn)尤為出色。

2001年，布雷曼博士提出隨機森林（Random Forest）。隨機森林是將多個有差異的弱學習器(決策樹)Bagging并行組合，通過建立多個的擬合較好且有差異模型去組合決策，以優(yōu)化泛化性能的一種集成學習方法。多樣差異性可減少對某些特征噪聲的依賴，降低方差（過擬合），組合決策可消除些學習器間的偏差。

隨機森林算法的基本思路是對于每一弱學習器(決策樹)有放回的抽樣構造其訓練集，并隨機抽取其可用特征子集，即以訓練樣本及特征空間的多樣性訓練出N個不同的弱學習器，最終結合N個弱學習器的預測（類別或者回歸預測數(shù)值），取最多數(shù)類別或平均值作為最終結果。

2003年，David Blei, Andrew Ng和 Michael I. Jordan于2003年提出LDA（Latent Dirichlet Allocation）。

LDA是一種無監(jiān)督方法，用來推測文檔的主題分布，將文檔集中每篇文檔的主題以概率分布的形式給出，可以根據(jù)主題分布進行主題聚類或文本分類。

2003年，Google公布了3篇大數(shù)據(jù)奠基性論文，為大數(shù)據(jù)存儲及分布式處理的核心問題提供了思路：非結構化文件分布式存儲（GFS）、分布式計算（MapReduce）及結構化數(shù)據(jù)存儲（BigTable），并奠定了現(xiàn)代大數(shù)據(jù)技術的理論基礎。

2005 年，波士頓動力公司推出一款動力平衡四足機器狗，有較強的通用性，可適應較復雜的地形。

2006年，杰弗里·辛頓以及他的學生魯斯蘭·薩拉赫丁諾夫正式提出了深度學習的概念（Deeping Learning），開啟了深度學習在學術界和工業(yè)界的浪潮。2006年也被稱為深度學習元年，杰弗里·辛頓也因此被稱為深度學習之父。

深度學習的概念源于人工神經(jīng)網(wǎng)絡的研究，它的本質(zhì)是使用多個隱藏層網(wǎng)絡結構，通過大量的向量計算，學習數(shù)據(jù)內(nèi)在信息的高階表示。

2010年，Sinno Jialin Pan和 Qiang Yang發(fā)表文章《遷移學習的調(diào)查》。

遷移學習(transfer learning)通俗來講，就是運用已有的知識（如訓練好的網(wǎng)絡權重）來學習新的知識以適應特定目標任務，核心是找到已有知識和新知識之間的相似性。

2.5 蓬勃發(fā)展期：2011年至今

隨著大數(shù)據(jù)、云計算、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等信息技術的發(fā)展，泛在感知數(shù)據(jù)和圖形處理器等計算平臺推動以深度神經(jīng)網(wǎng)絡為代表的人工智能技術飛速發(fā)展，大幅跨越了科學與應用之間的技術鴻溝，諸如圖像分類、語音識別、知識問答、人機對弈、無人駕駛等人工智能技術實現(xiàn)了重大的技術突破，迎來爆發(fā)式增長的新高潮。

2011年，IBM Watson問答機器人參與Jeopardy回答測驗比賽最終贏得了冠軍。Waston是一個集自然語言處理、知識表示、自動推理及機器學習等技術實現(xiàn)的電腦問答（Q&A）系統(tǒng)。

2012年，Hinton和他的學生Alex Krizhevsky設計的AlexNet神經(jīng)網(wǎng)絡模型在ImageNet競賽大獲全勝，這是史上第一次有模型在 ImageNet 數(shù)據(jù)集表現(xiàn)如此出色，并引爆了神經(jīng)網(wǎng)絡的研究熱情。

AlexNet是一個經(jīng)典的CNN模型，在數(shù)據(jù)、算法及算力層面均有較大改進，創(chuàng)新地應用了Data Augmentation、ReLU、Dropout和LRN等方法，并使用GPU加速網(wǎng)絡訓練。

2012年，谷歌正式發(fā)布谷歌知識圖譜Google Knowledge Graph），它是Google的一個從多種信息來源匯集的知識庫，通過Knowledge Graph來在普通的字串搜索上疊一層相互之間的關系，協(xié)助使用者更快找到所需的資料的同時，也可以知識為基礎的搜索更近一步，以提高Google搜索的質(zhì)量。

知識圖譜是結構化的語義知識庫，是符號主義思想的代表方法，用于以符號形式描述物理世界中的概念及其相互關系。其通用的組成單位是RDF三元組(實體-關系-實體)，實體間通過關系相互聯(lián)結，構成網(wǎng)狀的知識結構。

2013年，Durk Kingma和Max Welling在ICLR上以文章《Auto-Encoding Variational Bayes》提出變分自編碼器（Variational Auto-Encoder，VAE）。

VAE基本思路是將真實樣本通過編碼器網(wǎng)絡變換成一個理想的數(shù)據(jù)分布，然后把數(shù)據(jù)分布再傳遞給****網(wǎng)絡，構造出生成樣本，模型訓練學習的過程是使生成樣本與真實樣本足夠接近。

2013年，Google的Tomas Mikolov 在《Efficient Estimation of Word Representation in Vector Space》提出經(jīng)典的 Word2Vec模型用來學習單詞分布式表示，因其簡單高效引起了工業(yè)界和學術界極大的關注。

Word2Vec基本的思想是學習每個單詞與鄰近詞的關系，從而將單詞表示成低維稠密向量。通過這樣的分布式表示可以學習到單詞的語義信息，直觀來看，語義相似的單詞的距離相近。

Word2Vec網(wǎng)絡結構是一個淺層神經(jīng)網(wǎng)絡（輸入層-線性全連接隱藏層->輸出層），按訓練學習方式可分為CBOW模型(以一個詞語作為輸入，來預測它的鄰近詞)或Skip-gram模型 (以一個詞語的鄰近詞作為輸入，來預測這個詞語)。

2014年，聊天程序“尤金·古斯特曼”（Eugene Goostman）在英國皇家學會舉行的“2014圖靈測試”大會上，首次“通過”了圖靈測試。

2014年，Goodfellow及Bengio等人提出生成對抗網(wǎng)絡（Generative Adversarial Network，GAN），被譽為近年來最酷炫的神經(jīng)網(wǎng)絡。

GAN是基于強化學習(RL)思路設計的，由生成網(wǎng)絡(Generator, G)和判別網(wǎng)絡(Discriminator, D)兩部分組成， 生成網(wǎng)絡構成一個映射函數(shù)G: Z→X（輸入噪聲z, 輸出生成的偽造數(shù)據(jù)x）, 判別網(wǎng)絡判別輸入是來自真實數(shù)據(jù)還是生成網(wǎng)絡生成的數(shù)據(jù)。在這樣訓練的博弈過程中，提高兩個模型的生成能力和判別能力。

2015年，為紀念人工智能概念提出60周年，深度學習三巨頭LeCun、Bengio和Hinton(他們于2018年共同獲得了圖靈獎)推出了深度學習的聯(lián)合綜述《Deep learning》。

《Deep learning》文中指出深度學習就是一種特征學習方法，把原始數(shù)據(jù)通過一些簡單的但是非線性的模型轉(zhuǎn)變成為更高層次及抽象的表達，能夠強化輸入數(shù)據(jù)的區(qū)分能力。通過足夠多的轉(zhuǎn)換的組合，非常復雜的函數(shù)也可以被學習。

2015年，Microsoft Research的Kaiming He等人提出的殘差網(wǎng)絡（ResNet）在ImageNet大規(guī)模視覺識別競賽中獲得了圖像分類和物體識別的優(yōu)勝。

殘差網(wǎng)絡的主要貢獻是發(fā)現(xiàn)了網(wǎng)絡不恒等變換導致的“退化現(xiàn)象（Degradation）”，并針對退化現(xiàn)象引入了 “快捷連接（Shortcut connection）”，緩解了在深度神經(jīng)網(wǎng)絡中增加深度帶來的梯度消失問題。

2015年，谷歌開源TensorFlow框架。它是一個基于數(shù)據(jù)流編程（dataflow programming）的符號數(shù)學系統(tǒng)，被廣泛應用于各類機器學習（machine learning）算法的編程實現(xiàn)，其前身是谷歌的神經(jīng)網(wǎng)絡算法庫DistBelief。

2015年，馬斯克等人共同創(chuàng)建OpenAI。它是一個非營利的研究組織，使命是確保通用人工智能 (即一種高度自主且在大多數(shù)具有經(jīng)濟價值的工作上超越人類的系統(tǒng)）將為全人類帶來福祉。其發(fā)布熱門產(chǎn)品的如：OpenAI Gym，GPT等。

2016年，谷歌提出聯(lián)邦學習方法，它在多個持有本地數(shù)據(jù)樣本的分散式邊緣設備或服務器上訓練算法，而不交換其數(shù)據(jù)樣本。

聯(lián)邦學習保護隱私方面最重要的三大技術分別是：差分隱私 ( Differential Privacy )、同態(tài)加密 ( Homomorphic Encryption )和 隱私保護集合交集 ( Private Set Intersection )，能夠使多個參與者在不共享數(shù)據(jù)的情況下建立一個共同的、強大的機器學習模型，從而解決數(shù)據(jù)隱私、數(shù)據(jù)安全、數(shù)據(jù)訪問權限和異構數(shù)據(jù)的訪問等關鍵問題。

2016年，AlphaGo與圍棋世界冠軍、職業(yè)九段棋手李世石進行圍棋人機大戰(zhàn)，以4比1的總比分獲勝。

AlphaGo是一款圍棋人工智能程序，其主要工作原理是“深度學習”，由以下四個主要部分組成：策略網(wǎng)絡（Policy Network）給定當前局面，預測并采樣下一步的走棋；快速走子（Fast rollout）目標和策略網(wǎng)絡一樣，但在適當犧牲走棋質(zhì)量的條件下，速度要比策略網(wǎng)絡快1000倍；價值網(wǎng)絡（Value Network）估算當前局面的勝率；蒙特卡洛樹搜索（Monte Carlo Tree Search）樹搜索估算每一種走法的勝率。

在2017年更新的AlphaGo Zero，在此前的版本的基礎上，結合了強化學習進行了自我訓練。它在下棋和游戲前完全不知道游戲規(guī)則，完全是通過自己的試驗和摸索，洞悉棋局和游戲的規(guī)則，形成自己的決策。隨著自我博弈的增加，神經(jīng)網(wǎng)絡逐漸調(diào)整，提升下法勝率。更為厲害的是，隨著訓練的深入，AlphaGo Zero還獨立發(fā)現(xiàn)了游戲規(guī)則，并走出了新策略，為圍棋這項古老游戲帶來了新的見解。

2017年，中國香港的漢森機器人技術公司（Hanson Robotics）開發(fā)的類人機器人索菲亞，是歷史上首個獲得公民身份的一臺機器人。索菲亞看起來就像人類女性，擁有橡膠皮膚，能夠表現(xiàn)出超過62種自然的面部表情。其“大腦”中的算法能夠理解語言、識別面部，并與人進行互動。

2018年，Google提出論文《Pre-training of Deep Bidirectional Transformers for Language Understanding》并發(fā)布Bert(Bidirectional Encoder Representation from Transformers)模型，成功在 11 項 NLP 任務中取得 state of the art 的結果。

BERT是一個預訓練的語言表征模型，可在海量的語料上用無監(jiān)督學習方法學習單詞的動態(tài)特征表示。它基于Transformer注意力機制的模型，對比RNN可以更加高效、能捕捉更長距離的依賴信息，且不再像以往一樣采用傳統(tǒng)的單向語言模型或者把兩個單向語言模型進行淺層拼接的方法進行預訓練，而是采用新的masked language model（MLM），以致能生成深度的雙向語言表征。

2019年， IBM宣布推出Q System One，它是世界上第一個專為科學和商業(yè)用途設計的集成通用近似量子計算系統(tǒng)。

2019年，香港 Insilico Medicine 公司和多倫多大學的研究團隊實現(xiàn)了重大實驗突破，通過深度學習和生成模型相關的技術發(fā)現(xiàn)了幾種候選****物，證明了 AI 發(fā)現(xiàn)分子策略的有效性，很大程度解決了傳統(tǒng)新****開發(fā)在分子鑒定困難且耗時的問題。

2020年，Google與Facebook分別提出SimCLR與MoCo兩個無監(jiān)督學習算法，均能夠在無標注數(shù)據(jù)上學習圖像數(shù)據(jù)表征。兩個算法背后的框架都是對比學習（contrastive learning），對比學習的核心訓練信號是圖片的“可區(qū)分性”。

2020年，OpenAI開發(fā)的文字生成 (text generation) 人工智能GPT-3，它具有1,750億個參數(shù)的自然語言深度學習模型，比以前的版本GPT-2高100倍，該模型經(jīng)過了將近0.5萬億個單詞的預訓練，可以在多個NLP任務（答題、翻譯、寫文章）基準上達到最先進的性能。

2020年，馬斯克的腦機接口（brain–computer interface, BCI）公司Neuralink舉行現(xiàn)場直播，展示了植入Neuralink設備的實驗豬的腦部活動。

2020年，谷歌旗下DeepMind的AlphaFold2人工智能系統(tǒng)有力地解決了蛋白質(zhì)結構預測的里程碑式問題。它在國際蛋白質(zhì)結構預測競賽（CASP）上擊敗了其余的參會選手，精確預測了蛋白質(zhì)的三維結構，準確性可與冷凍電子顯微鏡（cryo-EM）、核磁共振或 X 射線晶體學等實驗技術相媲美。

2020年，中國科學技術大學潘建偉等人成功構建76個光子的量子計算原型機“九章”，求解數(shù)學算法“高斯玻色取樣”只需200秒，而目前世界最快的超級計算機要用6億年。

2021年，OpenAI提出兩個連接文本與圖像的神經(jīng)網(wǎng)絡：DALL·E 和 CLIP。DALL·E 可以基于文本直接生成圖像，CLIP 則能夠完成圖像與文本類別的匹配。

2021年，德國Eleuther人工智能公司于今年3月下旬推出開源的文本AI模型GPT-Neo。對比GPT-3的差異在于它是開源免費的。

2021年，美國斯坦福大學的研究人員開發(fā)出一種用于打字的腦機接口（brain–computer interface, BCI），這套系統(tǒng)可以從運動皮層的神經(jīng)活動中解碼癱瘓患者想象中的手寫動作，并利用遞歸神經(jīng)網(wǎng)絡（RNN）解碼方法將這些手寫動作實時轉(zhuǎn)換為文本。相關研究結果發(fā)表在2021年5月13日的Nature期刊上，論文標題為“High-performance brain-to-text communication via handwriting”。

AI 未來趨勢

人工智能有三個要素：數(shù)據(jù)、算力及算法，數(shù)據(jù)即是知識原料，算力及算法提供“計算智能”以學習知識并實現(xiàn)特定目標。

人工智能60多年的技術發(fā)展，可以歸根為數(shù)據(jù)、算力及算法層面的發(fā)展，那么在可以預見的未來，人工智能發(fā)展將會出現(xiàn)怎樣的趨勢呢？

3.1 數(shù)據(jù)層面

數(shù)據(jù)是現(xiàn)實世界映射構建虛擬世界的基本要素，隨著數(shù)據(jù)量以指數(shù)形式增長，開拓的虛擬世界的疆土也不斷擴張。不同于AI算法開源，關鍵數(shù)據(jù)往往是不開放的，數(shù)據(jù)隱私化、私域化是一種趨勢，數(shù)據(jù)之于AI應用，如同流量是互聯(lián)網(wǎng)的護城河，有核心數(shù)據(jù)才有關鍵的AI能力。

3.2 算力層面

推理就是計算（reason is nothing but reckoning）  --托馬斯.霍布斯

計算是AI的關鍵，自2010年代以來的深度學習浪潮，很大程度上歸功于計算能力的進步。

量子計算發(fā)展

在計算芯片按摩爾定律發(fā)展越發(fā)失效的今天，計算能力進步的放慢會限制未來的AI技，量子計算提供了一條新量級的增強計算能力的思路。隨著量子計算機的量子比特數(shù)量以指數(shù)形式增長，而它的計算能力是量子比特數(shù)量的指數(shù)級，這個增長速度將遠遠大于數(shù)據(jù)量的增長，為數(shù)據(jù)爆發(fā)時代的人工智能帶來了強大的硬件基礎。

邊緣計算發(fā)展

邊緣計算作為云計算的一種補充和優(yōu)化，一部分的人工智能正在加快速度從云端走向邊緣，進入到越來越小的物聯(lián)網(wǎng)設備中。而這些物聯(lián)網(wǎng)設備往往體積很小，為此輕量機器學習（TinyML）受到青睞，以滿足功耗、延時以及精度等問題。

類腦計算發(fā)展

以類腦計算芯片為核心的各種類腦計算系統(tǒng)，在處理某些智能問題以及低功耗智能計算方面正逐步展露出優(yōu)勢。類腦計算芯片設計將從現(xiàn)有處理器的設計方法論及其發(fā)展歷史中汲取靈感，在計算完備性理論基礎上結合應用需求實現(xiàn)完備的硬件功能。同時類腦計算基礎軟件將整合已有類腦計算編程語言與框架，實現(xiàn)類腦計算系統(tǒng)從“專用”向“通用”的逐步演進。

人工智能計算中心成為智能化時代的關鍵基礎設施

人工智能計算中心基于最新人工智能理論，采用領先的人工智能計算架構，是融合公共算力服務、數(shù)據(jù)開放共享、智能生態(tài)建設、產(chǎn)業(yè)創(chuàng)新聚集的“四位一體”綜合平臺，可提供算力、數(shù)據(jù)和算法等人工智能全棧能力，是人工智能快速發(fā)展和應用所依托的新型算力基礎設施。未來，隨著智能化社會的不斷發(fā)展，人工智能計算中心將成為關鍵的信息基礎設施，推動數(shù)字經(jīng)濟與傳統(tǒng)產(chǎn)業(yè)深度融合，加速產(chǎn)業(yè)轉(zhuǎn)型升級，促進經(jīng)濟高質(zhì)量發(fā)展。

3.3 算法層面

機器學習自動化(AutoML)發(fā)展

自動化機器學習（AutoML）解決的核心問題是：在給定數(shù)據(jù)集上使用哪種機器學習算法、是否以及如何預處理其特征以及如何設置所有超參數(shù)。隨著機器學習在許多應用領域取得了長足的進步，這促成了對機器學習系統(tǒng)的不斷增長的需求，并希望機器學習應用可以自動化構建并使用。借助AutoMl、MLOps技術，將大大減少機器學習人工訓練及部署過程，技術人員可以專注于核心解決方案。

向分布式隱私保護方向演進

當前全球多個國家和地區(qū)已出臺數(shù)據(jù)監(jiān)管法規(guī)，如HIPAA（美國健康保險便利和責任法案）、GDPR（歐盟通用數(shù)據(jù)保護條例）等，通過嚴格的法規(guī)限制多機構間隱私數(shù)據(jù)的交互。分布式隱私保護機器學習(聯(lián)邦學習)通過加密、分布式存儲等方式保護機器學習模型訓練的輸入數(shù)據(jù)，是打破數(shù)據(jù)孤島、完成多機構聯(lián)合訓練建模的可行方案。

數(shù)據(jù)和機理融合

AI模型的發(fā)展是符合簡單而美的定律的。從數(shù)據(jù)出發(fā)的建模從數(shù)據(jù)中總結規(guī)律，追求在實踐中的應用效果。從機理出發(fā)的建模以基本物理規(guī)律為出發(fā)點進行演繹，追求簡潔與美的表達。

一個好的、主流的的模型，通常是高度總結了數(shù)據(jù)規(guī)律并切合機理的，是“優(yōu)雅”的，因為它觸及了問題的本質(zhì)。就和科學理論一樣，往往簡潔的，沒有太多補丁，而這同時解決了收斂速度問題和泛化問題。

神經(jīng)網(wǎng)絡模型結構發(fā)展

神經(jīng)網(wǎng)絡的演進一直沿著模塊化+層次化的方向，不斷把多個承擔相對簡單任務的模塊組合起來。

神經(jīng)網(wǎng)絡結構通過較低層級模塊偵測基本的特征，并在較高層級偵測更高階的特征，無論是多層前饋網(wǎng)絡，還是卷積神經(jīng)網(wǎng)絡，都體現(xiàn)了這種模塊性(近年Hinton提出的“膠囊”（capsule）網(wǎng)絡就是進一步模塊化發(fā)展)。因為我們處理的問題（圖像、語音、文字）往往都有天然的模塊性，學習網(wǎng)絡的模塊性若匹配了問題本身內(nèi)在的模塊性，就能取得較好的效果。

層次化并不僅僅是網(wǎng)絡的拓撲疊加，更重要的是學習算法的升級，僅僅簡單地加深層次可能會導致BP網(wǎng)絡的梯度消失等問題。

多學派方法融合發(fā)展

通過多學派方法交融發(fā)展，得以互補算法之間的優(yōu)勢和弱點。如 1）貝葉斯派與神經(jīng)網(wǎng)絡融合，Neil Lawrence組的Deep Gaussian process, 用簡單的概率分布替換神經(jīng)網(wǎng)絡層。2）符號主義、集成學習與神經(jīng)網(wǎng)絡的融合，周志華老師的深度隨機森林。3)  符號主義與神經(jīng)網(wǎng)絡的融合：將知識庫(KG)融入進神經(jīng)網(wǎng)絡，如GNN、知識圖譜表示學習。4)  神經(jīng)網(wǎng)絡與強化學習的融合，如谷歌基于DNN+強化學習實現(xiàn)的Alpha Go 讓AI的復雜任務表現(xiàn)逼近人類。

基于大規(guī)模無(自)監(jiān)督預訓練發(fā)展

If intelligence is a cake, the bulk of the cake is unsupervised learning, the icing on the cake is supervised learning, and the cherry on the cake is reinforcement learning (RL)    -- Yann Lecun

監(jiān)督學習需要足夠的帶標簽數(shù)據(jù)，然而人工標注大量數(shù)據(jù)既耗時又費力，在一些領域(如醫(yī)學領域)上幾乎不太可能獲得足量的標注數(shù)據(jù)。通過大規(guī)模無(自)監(jiān)督預訓練方法利用現(xiàn)實中大量的無標簽數(shù)據(jù)是一個研究的熱點，如GPT-3的出現(xiàn)激發(fā)了對大規(guī)模自監(jiān)督預訓練方法繼續(xù)開展探索和研究。未來，基于大規(guī)模圖像、語音、視頻等多模態(tài)數(shù)據(jù)的跨語言的自監(jiān)督預訓練模型將進一步發(fā)展，并不斷提升模型的認知、推理能力。

基于因果學習方法發(fā)展

當前人工智能模型大多關注于數(shù)據(jù)特征間相關性，而相關性與更為本源的因果關系并不等價，可能導致預測結果的偏差，對抗攻擊的能力不佳，且模型往往缺乏可解釋性。另外，模型需要獨立同分布(i.i.d.)假設(現(xiàn)實很多情況，i.i.d.的假設是不成立的)，若測試數(shù)據(jù)與訓練數(shù)據(jù)來自不同的分布，統(tǒng)計學習模型往往效果不佳，而因果推斷所研究的正是這樣的情形：如何學習一個可以在不同分布下工作、蘊含因果機制的因果模型(Causal Model)，并使用因果模型進行干預或反事實推斷。

可解釋性AI (XAI)發(fā)展

可解釋的人工智能有可能成為未來機器學習的核心，隨著模型變得越來越復雜，確定簡單的、可解釋的規(guī)則就會變得越來越困難。一個可以解釋的AI（Explainable AI,  XAI）意味著AI運作的透明，便于人類對于對AI監(jiān)督及接納，以保證算法的公平性、安全性及隱私性。

圖片后記

隨著數(shù)據(jù)、算力及算法取得不斷的突破，人工智能可能進入一個永恒的春天。本文主要從技術角度看待AI趨勢是比較片面的，雖然技術是“高大上”的第一生產(chǎn)力，有著自身的發(fā)展規(guī)律，但不可忽視的是技術是為需求市場所服務的。技術結合穩(wěn)定的市場需求，才是技術發(fā)展的實際導向。