幾經(jīng)沉浮，人工智能前路何方？（2）

2.4 平穩(wěn)發(fā)展期：20世紀90年代—2010年

由于互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，加速了人工智能的創(chuàng)新研究，促使人工智能技術(shù)進一步走向?qū)嵱没斯ぶ悄芟嚓P(guān)的各個領(lǐng)域都取得長足進步。在2000年代初，由于專家系統(tǒng)的項目都需要編碼太多的顯式規(guī)則，這降低了效率并增加了成本，人工智能研究的重心從基于知識系統(tǒng)轉(zhuǎn)向了機器學(xué)習(xí)方向。

1995年，Cortes和Vapnik提出聯(lián)結(jié)主義經(jīng)典的支持向量機(Support Vector Machine)，它在解決小樣本、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應(yīng)用到函數(shù)擬合等其他機器學(xué)習(xí)問題中。

支持向量機（Support Vector Machine, SVM）可以視為在感知機基礎(chǔ)上的改進，是建立在統(tǒng)計學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險最小原理基礎(chǔ)上的廣義線性分類器。與感知機主要差異在于：1、感知機目標是找到一個超平面將各樣本盡可能分離正確(有無數(shù)個)，SVM目標是找到一個超平面不僅將各樣本盡可能分離正確，還要使各樣本離超平面距離最遠(只有一個最大邊距超平面)，SVM的泛化能力更強。2、對于線性不可分的問題，不同于感知機的增加非線性隱藏層，SVM利用核函數(shù)，本質(zhì)上都是實現(xiàn)特征空間非線性變換，使可以被線性分類。

1995年， Freund和schapire提出了 AdaBoost (Adaptive Boosting)算法。AdaBoost采用的是Boosting集成學(xué)習(xí)方法——串行組合弱學(xué)習(xí)器以達到更好的泛化性能。另外一種重要集成方法是以隨機森林為代表的Bagging并行組合的方式。以“偏差-方差分解”分析，Boosting方法主要優(yōu)化偏差，Bagging主要優(yōu)化方差。

Adaboost迭代算法基本思想主要是通過調(diào)節(jié)的每一輪各訓(xùn)練樣本的權(quán)重(錯誤分類的樣本權(quán)重更高)，串行訓(xùn)練出不同分類器。最終以各分類器的準確率作為其組合的權(quán)重，一起加權(quán)組合成強分類器。

1997年國際商業(yè)機器公司（簡稱IBM）深藍超級計算機戰(zhàn)勝了國際象棋世界冠軍卡斯帕羅夫。深藍是基于暴力窮舉實現(xiàn)國際象棋領(lǐng)域的智能，通過生成所有可能的走法，然后執(zhí)行盡可能深的搜索，并不斷對局面進行評估，嘗試找出最佳走法。

1997年，Sepp Hochreiter 和 Jürgen Schmidhuber提出了長短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)。

LSTM是一種復(fù)雜結(jié)構(gòu)的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），結(jié)構(gòu)上引入了遺忘門、輸入門及輸出門：輸入門決定當前時刻網(wǎng)絡(luò)的輸入數(shù)據(jù)有多少需要保存到單元狀態(tài)，遺忘門決定上一時刻的單元狀態(tài)有多少需要保留到當前時刻，輸出門控制當前單元狀態(tài)有多少需要輸出到當前的輸出值。這樣的結(jié)構(gòu)設(shè)計可以解決長序列訓(xùn)練過程中的梯度消失問題。

1998年，萬維網(wǎng)聯(lián)盟的蒂姆·伯納斯·李(Tim Berners-Lee)提出語義網(wǎng)(Semantic  Web)的概念。其核心思想是：通過給萬維網(wǎng)上的文檔（如HTML）添加能夠被計算機所理解的語義(Meta data)，從而使整個互聯(lián)網(wǎng)成為一個基于語義鏈接的通用信息交換媒介。換言之，就是構(gòu)建一個能夠?qū)崿F(xiàn)人與電腦無障礙溝通的智能網(wǎng)絡(luò)。

2001年，John Lafferty首次提出條件隨機場模型（Conditional random field，CRF）。CRF是基于貝葉斯理論框架的判別式概率圖模型，在給定條件隨機場P ( Y ∣ X ) 和輸入序列x，求條件概率最大的輸出序列y *。在許多自然語言處理任務(wù)中比如分詞、命名實體識別等表現(xiàn)尤為出色。

2001年，布雷曼博士提出隨機森林（Random Forest）。隨機森林是將多個有差異的弱學(xué)習(xí)器(決策樹)Bagging并行組合，通過建立多個的擬合較好且有差異模型去組合決策，以優(yōu)化泛化性能的一種集成學(xué)習(xí)方法。多樣差異性可減少對某些特征噪聲的依賴，降低方差（過擬合），組合決策可消除些學(xué)習(xí)器間的偏差。

隨機森林算法的基本思路是對于每一弱學(xué)習(xí)器(決策樹)有放回的抽樣構(gòu)造其訓(xùn)練集，并隨機抽取其可用特征子集，即以訓(xùn)練樣本及特征空間的多樣性訓(xùn)練出N個不同的弱學(xué)習(xí)器，最終結(jié)合N個弱學(xué)習(xí)器的預(yù)測（類別或者回歸預(yù)測數(shù)值），取最多數(shù)類別或平均值作為最終結(jié)果。

2003年，David Blei, Andrew Ng和 Michael I. Jordan于2003年提出LDA（Latent Dirichlet Allocation）。

LDA是一種無監(jiān)督方法，用來推測文檔的主題分布，將文檔集中每篇文檔的主題以概率分布的形式給出，可以根據(jù)主題分布進行主題聚類或文本分類。

2003年，Google公布了3篇大數(shù)據(jù)奠基性論文，為大數(shù)據(jù)存儲及分布式處理的核心問題提供了思路：非結(jié)構(gòu)化文件分布式存儲（GFS）、分布式計算（MapReduce）及結(jié)構(gòu)化數(shù)據(jù)存儲（BigTable），并奠定了現(xiàn)代大數(shù)據(jù)技術(shù)的理論基礎(chǔ)。

2005 年，波士頓動力公司推出一款動力平衡四足機器狗，有較強的通用性，可適應(yīng)較復(fù)雜的地形。

2006年，杰弗里·辛頓以及他的學(xué)生魯斯蘭·薩拉赫丁諾夫正式提出了深度學(xué)習(xí)的概念（Deeping Learning），開啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮。2006年也被稱為深度學(xué)習(xí)元年，杰弗里·辛頓也因此被稱為深度學(xué)習(xí)之父。

深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，它的本質(zhì)是使用多個隱藏層網(wǎng)絡(luò)結(jié)構(gòu)，通過大量的向量計算，學(xué)習(xí)數(shù)據(jù)內(nèi)在信息的高階表示。

2010年，Sinno Jialin Pan和 Qiang Yang發(fā)表文章《遷移學(xué)習(xí)的調(diào)查》。

遷移學(xué)習(xí)(transfer learning)通俗來講，就是運用已有的知識（如訓(xùn)練好的網(wǎng)絡(luò)權(quán)重）來學(xué)習(xí)新的知識以適應(yīng)特定目標任務(wù)，核心是找到已有知識和新知識之間的相似性。

2.5 蓬勃發(fā)展期：2011年至今

隨著大數(shù)據(jù)、云計算、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等信息技術(shù)的發(fā)展，泛在感知數(shù)據(jù)和圖形處理器等計算平臺推動以深度神經(jīng)網(wǎng)絡(luò)為代表的人工智能技術(shù)飛速發(fā)展，大幅跨越了科學(xué)與應(yīng)用之間的技術(shù)鴻溝，諸如圖像分類、語音識別、知識問答、人機對弈、無人駕駛等人工智能技術(shù)實現(xiàn)了重大的技術(shù)突破，迎來爆發(fā)式增長的新高潮。

2011年，IBM Watson問答機器人參與Jeopardy回答測驗比賽最終贏得了冠軍。Waston是一個集自然語言處理、知識表示、自動推理及機器學(xué)習(xí)等技術(shù)實現(xiàn)的電腦問答（Q&A）系統(tǒng)。

2012年，Hinton和他的學(xué)生Alex Krizhevsky設(shè)計的AlexNet神經(jīng)網(wǎng)絡(luò)模型在ImageNet競賽大獲全勝，這是史上第一次有模型在 ImageNet 數(shù)據(jù)集表現(xiàn)如此出色，并引爆了神經(jīng)網(wǎng)絡(luò)的研究熱情。

AlexNet是一個經(jīng)典的CNN模型，在數(shù)據(jù)、算法及算力層面均有較大改進，創(chuàng)新地應(yīng)用了Data Augmentation、ReLU、Dropout和LRN等方法，并使用GPU加速網(wǎng)絡(luò)訓(xùn)練。

2012年，谷歌正式發(fā)布谷歌知識圖譜Google Knowledge Graph），它是Google的一個從多種信息來源匯集的知識庫，通過Knowledge Graph來在普通的字串搜索上疊一層相互之間的關(guān)系，協(xié)助使用者更快找到所需的資料的同時，也可以知識為基礎(chǔ)的搜索更近一步，以提高Google搜索的質(zhì)量。

知識圖譜是結(jié)構(gòu)化的語義知識庫，是符號主義思想的代表方法，用于以符號形式描述物理世界中的概念及其相互關(guān)系。其通用的組成單位是RDF三元組(實體-關(guān)系-實體)，實體間通過關(guān)系相互聯(lián)結(jié)，構(gòu)成網(wǎng)狀的知識結(jié)構(gòu)。

2013年，Durk Kingma和Max Welling在ICLR上以文章《Auto-Encoding Variational Bayes》提出變分自編碼器（Variational Auto-Encoder，VAE）。

VAE基本思路是將真實樣本通過編碼器網(wǎng)絡(luò)變換成一個理想的數(shù)據(jù)分布，然后把數(shù)據(jù)分布再傳遞給****網(wǎng)絡(luò)，構(gòu)造出生成樣本，模型訓(xùn)練學(xué)習(xí)的過程是使生成樣本與真實樣本足夠接近。

2013年，Google的Tomas Mikolov 在《Efficient Estimation of Word Representation in Vector Space》提出經(jīng)典的 Word2Vec模型用來學(xué)習(xí)單詞分布式表示，因其簡單高效引起了工業(yè)界和學(xué)術(shù)界極大的關(guān)注。

Word2Vec基本的思想是學(xué)習(xí)每個單詞與鄰近詞的關(guān)系，從而將單詞表示成低維稠密向量。通過這樣的分布式表示可以學(xué)習(xí)到單詞的語義信息，直觀來看，語義相似的單詞的距離相近。

Word2Vec網(wǎng)絡(luò)結(jié)構(gòu)是一個淺層神經(jīng)網(wǎng)絡(luò)（輸入層-線性全連接隱藏層->輸出層），按訓(xùn)練學(xué)習(xí)方式可分為CBOW模型(以一個詞語作為輸入，來預(yù)測它的鄰近詞)或Skip-gram模型 (以一個詞語的鄰近詞作為輸入，來預(yù)測這個詞語)。

2014年，聊天程序“尤金·古斯特曼”（Eugene Goostman）在英國皇家學(xué)會舉行的“2014圖靈測試”大會上，首次“通過”了圖靈測試。

2014年，Goodfellow及Bengio等人提出生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN），被譽為近年來最酷炫的神經(jīng)網(wǎng)絡(luò)。

GAN是基于強化學(xué)習(xí)(RL)思路設(shè)計的，由生成網(wǎng)絡(luò)(Generator, G)和判別網(wǎng)絡(luò)(Discriminator, D)兩部分組成， 生成網(wǎng)絡(luò)構(gòu)成一個映射函數(shù)G: Z→X（輸入噪聲z, 輸出生成的偽造數(shù)據(jù)x）, 判別網(wǎng)絡(luò)判別輸入是來自真實數(shù)據(jù)還是生成網(wǎng)絡(luò)生成的數(shù)據(jù)。在這樣訓(xùn)練的博弈過程中，提高兩個模型的生成能力和判別能力。

2015年，為紀念人工智能概念提出60周年，深度學(xué)習(xí)三巨頭LeCun、Bengio和Hinton(他們于2018年共同獲得了圖靈獎)推出了深度學(xué)習(xí)的聯(lián)合綜述《Deep learning》。

《Deep learning》文中指出深度學(xué)習(xí)就是一種特征學(xué)習(xí)方法，把原始數(shù)據(jù)通過一些簡單的但是非線性的模型轉(zhuǎn)變成為更高層次及抽象的表達，能夠強化輸入數(shù)據(jù)的區(qū)分能力。通過足夠多的轉(zhuǎn)換的組合，非常復(fù)雜的函數(shù)也可以被學(xué)習(xí)。

2015年，Microsoft Research的Kaiming He等人提出的殘差網(wǎng)絡(luò)（ResNet）在ImageNet大規(guī)模視覺識別競賽中獲得了圖像分類和物體識別的優(yōu)勝。

殘差網(wǎng)絡(luò)的主要貢獻是發(fā)現(xiàn)了網(wǎng)絡(luò)不恒等變換導(dǎo)致的“退化現(xiàn)象（Degradation）”，并針對退化現(xiàn)象引入了 “快捷連接（Shortcut connection）”，緩解了在深度神經(jīng)網(wǎng)絡(luò)中增加深度帶來的梯度消失問題。

2015年，谷歌開源TensorFlow框架。它是一個基于數(shù)據(jù)流編程（dataflow programming）的符號數(shù)學(xué)系統(tǒng)，被廣泛應(yīng)用于各類機器學(xué)習(xí)（machine learning）算法的編程實現(xiàn)，其前身是谷歌的神經(jīng)網(wǎng)絡(luò)算法庫DistBelief。

2015年，馬斯克等人共同創(chuàng)建OpenAI。它是一個非營利的研究組織，使命是確保通用人工智能 (即一種高度自主且在大多數(shù)具有經(jīng)濟價值的工作上超越人類的系統(tǒng)）將為全人類帶來福祉。其發(fā)布熱門產(chǎn)品的如：OpenAI Gym，GPT等。

2016年，谷歌提出聯(lián)邦學(xué)習(xí)方法，它在多個持有本地數(shù)據(jù)樣本的分散式邊緣設(shè)備或服務(wù)器上訓(xùn)練算法，而不交換其數(shù)據(jù)樣本。

聯(lián)邦學(xué)習(xí)保護隱私方面最重要的三大技術(shù)分別是：差分隱私 ( Differential Privacy )、同態(tài)加密 ( Homomorphic Encryption )和 隱私保護集合交集 ( Private Set Intersection )，能夠使多個參與者在不共享數(shù)據(jù)的情況下建立一個共同的、強大的機器學(xué)習(xí)模型，從而解決數(shù)據(jù)隱私、數(shù)據(jù)安全、數(shù)據(jù)訪問權(quán)限和異構(gòu)數(shù)據(jù)的訪問等關(guān)鍵問題。

2016年，AlphaGo與圍棋世界冠軍、職業(yè)九段棋手李世石進行圍棋人機大戰(zhàn)，以4比1的總比分獲勝。

AlphaGo是一款圍棋人工智能程序，其主要工作原理是“深度學(xué)習(xí)”，由以下四個主要部分組成：策略網(wǎng)絡(luò)（Policy Network）給定當前局面，預(yù)測并采樣下一步的走棋；快速走子（Fast rollout）目標和策略網(wǎng)絡(luò)一樣，但在適當犧牲走棋質(zhì)量的條件下，速度要比策略網(wǎng)絡(luò)快1000倍；價值網(wǎng)絡(luò)（Value Network）估算當前局面的勝率；蒙特卡洛樹搜索（Monte Carlo Tree Search）樹搜索估算每一種走法的勝率。

在2017年更新的AlphaGo Zero，在此前的版本的基礎(chǔ)上，結(jié)合了強化學(xué)習(xí)進行了自我訓(xùn)練。它在下棋和游戲前完全不知道游戲規(guī)則，完全是通過自己的試驗和摸索，洞悉棋局和游戲的規(guī)則，形成自己的決策。隨著自我博弈的增加，神經(jīng)網(wǎng)絡(luò)逐漸調(diào)整，提升下法勝率。更為厲害的是，隨著訓(xùn)練的深入，AlphaGo Zero還獨立發(fā)現(xiàn)了游戲規(guī)則，并走出了新策略，為圍棋這項古老游戲帶來了新的見解。

2017年，中國香港的漢森機器人技術(shù)公司（Hanson Robotics）開發(fā)的類人機器人索菲亞，是歷史上首個獲得公民身份的一臺機器人。索菲亞看起來就像人類女性，擁有橡膠皮膚，能夠表現(xiàn)出超過62種自然的面部表情。其“大腦”中的算法能夠理解語言、識別面部，并與人進行互動。

2018年，Google提出論文《Pre-training of Deep Bidirectional Transformers for Language Understanding》并發(fā)布Bert(Bidirectional Encoder Representation from Transformers)模型，成功在 11 項 NLP 任務(wù)中取得 state of the art 的結(jié)果。

BERT是一個預(yù)訓(xùn)練的語言表征模型，可在海量的語料上用無監(jiān)督學(xué)習(xí)方法學(xué)習(xí)單詞的動態(tài)特征表示。它基于Transformer注意力機制的模型，對比RNN可以更加高效、能捕捉更長距離的依賴信息，且不再像以往一樣采用傳統(tǒng)的單向語言模型或者把兩個單向語言模型進行淺層拼接的方法進行預(yù)訓(xùn)練，而是采用新的masked language model（MLM），以致能生成深度的雙向語言表征。

2019年， IBM宣布推出Q System One，它是世界上第一個專為科學(xué)和商業(yè)用途設(shè)計的集成通用近似量子計算系統(tǒng)。

2019年，香港 Insilico Medicine 公司和多倫多大學(xué)的研究團隊實現(xiàn)了重大實驗突破，通過深度學(xué)習(xí)和生成模型相關(guān)的技術(shù)發(fā)現(xiàn)了幾種候選****物，證明了 AI 發(fā)現(xiàn)分子策略的有效性，很大程度解決了傳統(tǒng)新****開發(fā)在分子鑒定困難且耗時的問題。

2020年，Google與Facebook分別提出SimCLR與MoCo兩個無監(jiān)督學(xué)習(xí)算法，均能夠在無標注數(shù)據(jù)上學(xué)習(xí)圖像數(shù)據(jù)表征。兩個算法背后的框架都是對比學(xué)習(xí)（contrastive learning），對比學(xué)習(xí)的核心訓(xùn)練信號是圖片的“可區(qū)分性”。

2020年，OpenAI開發(fā)的文字生成 (text generation) 人工智能GPT-3，它具有1,750億個參數(shù)的自然語言深度學(xué)習(xí)模型，比以前的版本GPT-2高100倍，該模型經(jīng)過了將近0.5萬億個單詞的預(yù)訓(xùn)練，可以在多個NLP任務(wù)（答題、翻譯、寫文章）基準上達到最先進的性能。

2020年，馬斯克的腦機接口（brain–computer interface, BCI）公司Neuralink舉行現(xiàn)場直播，展示了植入Neuralink設(shè)備的實驗豬的腦部活動。

2020年，谷歌旗下DeepMind的AlphaFold2人工智能系統(tǒng)有力地解決了蛋白質(zhì)結(jié)構(gòu)預(yù)測的里程碑式問題。它在國際蛋白質(zhì)結(jié)構(gòu)預(yù)測競賽（CASP）上擊敗了其余的參會選手，精確預(yù)測了蛋白質(zhì)的三維結(jié)構(gòu)，準確性可與冷凍電子顯微鏡（cryo-EM）、核磁共振或 X 射線晶體學(xué)等實驗技術(shù)相媲美。

2020年，中國科學(xué)技術(shù)大學(xué)潘建偉等人成功構(gòu)建76個光子的量子計算原型機“九章”，求解數(shù)學(xué)算法“高斯玻色取樣”只需200秒，而目前世界最快的超級計算機要用6億年。

2021年，OpenAI提出兩個連接文本與圖像的神經(jīng)網(wǎng)絡(luò)：DALL·E 和 CLIP。DALL·E 可以基于文本直接生成圖像，CLIP 則能夠完成圖像與文本類別的匹配。

2021年，德國Eleuther人工智能公司于今年3月下旬推出開源的文本AI模型GPT-Neo。對比GPT-3的差異在于它是開源免費的。

2021年，美國斯坦福大學(xué)的研究人員開發(fā)出一種用于打字的腦機接口（brain–computer interface, BCI），這套系統(tǒng)可以從運動皮層的神經(jīng)活動中解碼癱瘓患者想象中的手寫動作，并利用遞歸神經(jīng)網(wǎng)絡(luò)（RNN）解碼方法將這些手寫動作實時轉(zhuǎn)換為文本。相關(guān)研究結(jié)果發(fā)表在2021年5月13日的Nature期刊上，論文標題為“High-performance brain-to-text communication via handwriting”。

AI 未來趨勢

人工智能有三個要素：數(shù)據(jù)、算力及算法，數(shù)據(jù)即是知識原料，算力及算法提供“計算智能”以學(xué)習(xí)知識并實現(xiàn)特定目標。

人工智能60多年的技術(shù)發(fā)展，可以歸根為數(shù)據(jù)、算力及算法層面的發(fā)展，那么在可以預(yù)見的未來，人工智能發(fā)展將會出現(xiàn)怎樣的趨勢呢？

3.1 數(shù)據(jù)層面

數(shù)據(jù)是現(xiàn)實世界映射構(gòu)建虛擬世界的基本要素，隨著數(shù)據(jù)量以指數(shù)形式增長，開拓的虛擬世界的疆土也不斷擴張。不同于AI算法開源，關(guān)鍵數(shù)據(jù)往往是不開放的，數(shù)據(jù)隱私化、私域化是一種趨勢，數(shù)據(jù)之于AI應(yīng)用，如同流量是互聯(lián)網(wǎng)的護城河，有核心數(shù)據(jù)才有關(guān)鍵的AI能力。

3.2 算力層面

推理就是計算（reason is nothing but reckoning）  --托馬斯.霍布斯

計算是AI的關(guān)鍵，自2010年代以來的深度學(xué)習(xí)浪潮，很大程度上歸功于計算能力的進步。

量子計算發(fā)展

在計算芯片按摩爾定律發(fā)展越發(fā)失效的今天，計算能力進步的放慢會限制未來的AI技，量子計算提供了一條新量級的增強計算能力的思路。隨著量子計算機的量子比特數(shù)量以指數(shù)形式增長，而它的計算能力是量子比特數(shù)量的指數(shù)級，這個增長速度將遠遠大于數(shù)據(jù)量的增長，為數(shù)據(jù)爆發(fā)時代的人工智能帶來了強大的硬件基礎(chǔ)。

邊緣計算發(fā)展

邊緣計算作為云計算的一種補充和優(yōu)化，一部分的人工智能正在加快速度從云端走向邊緣，進入到越來越小的物聯(lián)網(wǎng)設(shè)備中。而這些物聯(lián)網(wǎng)設(shè)備往往體積很小，為此輕量機器學(xué)習(xí)（TinyML）受到青睞，以滿足功耗、延時以及精度等問題。

類腦計算發(fā)展

以類腦計算芯片為核心的各種類腦計算系統(tǒng)，在處理某些智能問題以及低功耗智能計算方面正逐步展露出優(yōu)勢。類腦計算芯片設(shè)計將從現(xiàn)有處理器的設(shè)計方法論及其發(fā)展歷史中汲取靈感，在計算完備性理論基礎(chǔ)上結(jié)合應(yīng)用需求實現(xiàn)完備的硬件功能。同時類腦計算基礎(chǔ)軟件將整合已有類腦計算編程語言與框架，實現(xiàn)類腦計算系統(tǒng)從“專用”向“通用”的逐步演進。

人工智能計算中心成為智能化時代的關(guān)鍵基礎(chǔ)設(shè)施

人工智能計算中心基于最新人工智能理論，采用領(lǐng)先的人工智能計算架構(gòu)，是融合公共算力服務(wù)、數(shù)據(jù)開放共享、智能生態(tài)建設(shè)、產(chǎn)業(yè)創(chuàng)新聚集的“四位一體”綜合平臺，可提供算力、數(shù)據(jù)和算法等人工智能全棧能力，是人工智能快速發(fā)展和應(yīng)用所依托的新型算力基礎(chǔ)設(shè)施。未來，隨著智能化社會的不斷發(fā)展，人工智能計算中心將成為關(guān)鍵的信息基礎(chǔ)設(shè)施，推動數(shù)字經(jīng)濟與傳統(tǒng)產(chǎn)業(yè)深度融合，加速產(chǎn)業(yè)轉(zhuǎn)型升級，促進經(jīng)濟高質(zhì)量發(fā)展。

3.3 算法層面

機器學(xué)習(xí)自動化(AutoML)發(fā)展

自動化機器學(xué)習(xí)（AutoML）解決的核心問題是：在給定數(shù)據(jù)集上使用哪種機器學(xué)習(xí)算法、是否以及如何預(yù)處理其特征以及如何設(shè)置所有超參數(shù)。隨著機器學(xué)習(xí)在許多應(yīng)用領(lǐng)域取得了長足的進步，這促成了對機器學(xué)習(xí)系統(tǒng)的不斷增長的需求，并希望機器學(xué)習(xí)應(yīng)用可以自動化構(gòu)建并使用。借助AutoMl、MLOps技術(shù)，將大大減少機器學(xué)習(xí)人工訓(xùn)練及部署過程，技術(shù)人員可以專注于核心解決方案。

向分布式隱私保護方向演進

當前全球多個國家和地區(qū)已出臺數(shù)據(jù)監(jiān)管法規(guī)，如HIPAA（美國健康保險便利和責(zé)任法案）、GDPR（歐盟通用數(shù)據(jù)保護條例）等，通過嚴格的法規(guī)限制多機構(gòu)間隱私數(shù)據(jù)的交互。分布式隱私保護機器學(xué)習(xí)(聯(lián)邦學(xué)習(xí))通過加密、分布式存儲等方式保護機器學(xué)習(xí)模型訓(xùn)練的輸入數(shù)據(jù)，是打破數(shù)據(jù)孤島、完成多機構(gòu)聯(lián)合訓(xùn)練建模的可行方案。

數(shù)據(jù)和機理融合

AI模型的發(fā)展是符合簡單而美的定律的。從數(shù)據(jù)出發(fā)的建模從數(shù)據(jù)中總結(jié)規(guī)律，追求在實踐中的應(yīng)用效果。從機理出發(fā)的建模以基本物理規(guī)律為出發(fā)點進行演繹，追求簡潔與美的表達。

一個好的、主流的的模型，通常是高度總結(jié)了數(shù)據(jù)規(guī)律并切合機理的，是“優(yōu)雅”的，因為它觸及了問題的本質(zhì)。就和科學(xué)理論一樣，往往簡潔的，沒有太多補丁，而這同時解決了收斂速度問題和泛化問題。

神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)發(fā)展

神經(jīng)網(wǎng)絡(luò)的演進一直沿著模塊化+層次化的方向，不斷把多個承擔(dān)相對簡單任務(wù)的模塊組合起來。

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)通過較低層級模塊偵測基本的特征，并在較高層級偵測更高階的特征，無論是多層前饋網(wǎng)絡(luò)，還是卷積神經(jīng)網(wǎng)絡(luò)，都體現(xiàn)了這種模塊性(近年Hinton提出的“膠囊”（capsule）網(wǎng)絡(luò)就是進一步模塊化發(fā)展)。因為我們處理的問題（圖像、語音、文字）往往都有天然的模塊性，學(xué)習(xí)網(wǎng)絡(luò)的模塊性若匹配了問題本身內(nèi)在的模塊性，就能取得較好的效果。

層次化并不僅僅是網(wǎng)絡(luò)的拓撲疊加，更重要的是學(xué)習(xí)算法的升級，僅僅簡單地加深層次可能會導(dǎo)致BP網(wǎng)絡(luò)的梯度消失等問題。

多學(xué)派方法融合發(fā)展

通過多學(xué)派方法交融發(fā)展，得以互補算法之間的優(yōu)勢和弱點。如 1）貝葉斯派與神經(jīng)網(wǎng)絡(luò)融合，Neil Lawrence組的Deep Gaussian process, 用簡單的概率分布替換神經(jīng)網(wǎng)絡(luò)層。2）符號主義、集成學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的融合，周志華老師的深度隨機森林。3)  符號主義與神經(jīng)網(wǎng)絡(luò)的融合：將知識庫(KG)融入進神經(jīng)網(wǎng)絡(luò)，如GNN、知識圖譜表示學(xué)習(xí)。4)  神經(jīng)網(wǎng)絡(luò)與強化學(xué)習(xí)的融合，如谷歌基于DNN+強化學(xué)習(xí)實現(xiàn)的Alpha Go 讓AI的復(fù)雜任務(wù)表現(xiàn)逼近人類。

基于大規(guī)模無(自)監(jiān)督預(yù)訓(xùn)練發(fā)展

If intelligence is a cake, the bulk of the cake is unsupervised learning, the icing on the cake is supervised learning, and the cherry on the cake is reinforcement learning (RL)    -- Yann Lecun

監(jiān)督學(xué)習(xí)需要足夠的帶標簽數(shù)據(jù)，然而人工標注大量數(shù)據(jù)既耗時又費力，在一些領(lǐng)域(如醫(yī)學(xué)領(lǐng)域)上幾乎不太可能獲得足量的標注數(shù)據(jù)。通過大規(guī)模無(自)監(jiān)督預(yù)訓(xùn)練方法利用現(xiàn)實中大量的無標簽數(shù)據(jù)是一個研究的熱點，如GPT-3的出現(xiàn)激發(fā)了對大規(guī)模自監(jiān)督預(yù)訓(xùn)練方法繼續(xù)開展探索和研究。未來，基于大規(guī)模圖像、語音、視頻等多模態(tài)數(shù)據(jù)的跨語言的自監(jiān)督預(yù)訓(xùn)練模型將進一步發(fā)展，并不斷提升模型的認知、推理能力。

基于因果學(xué)習(xí)方法發(fā)展

當前人工智能模型大多關(guān)注于數(shù)據(jù)特征間相關(guān)性，而相關(guān)性與更為本源的因果關(guān)系并不等價，可能導(dǎo)致預(yù)測結(jié)果的偏差，對抗攻擊的能力不佳，且模型往往缺乏可解釋性。另外，模型需要獨立同分布(i.i.d.)假設(shè)(現(xiàn)實很多情況，i.i.d.的假設(shè)是不成立的)，若測試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)來自不同的分布，統(tǒng)計學(xué)習(xí)模型往往效果不佳，而因果推斷所研究的正是這樣的情形：如何學(xué)習(xí)一個可以在不同分布下工作、蘊含因果機制的因果模型(Causal Model)，并使用因果模型進行干預(yù)或反事實推斷。

可解釋性AI (XAI)發(fā)展

可解釋的人工智能有可能成為未來機器學(xué)習(xí)的核心，隨著模型變得越來越復(fù)雜，確定簡單的、可解釋的規(guī)則就會變得越來越困難。一個可以解釋的AI（Explainable AI,  XAI）意味著AI運作的透明，便于人類對于對AI監(jiān)督及接納，以保證算法的公平性、安全性及隱私性。

圖片后記

隨著數(shù)據(jù)、算力及算法取得不斷的突破，人工智能可能進入一個永恒的春天。本文主要從技術(shù)角度看待AI趨勢是比較片面的，雖然技術(shù)是“高大上”的第一生產(chǎn)力，有著自身的發(fā)展規(guī)律，但不可忽視的是技術(shù)是為需求市場所服務(wù)的。技術(shù)結(jié)合穩(wěn)定的市場需求，才是技術(shù)發(fā)展的實際導(dǎo)向。