Hinton、Yann LeCun、李飛飛談深度學習十年：AI沒有走入死胡同，“革命”仍如火如荼

大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載自AI前線

作者：Sharon Goldman

譯者：核子可樂

策劃：冬梅

2022 年，當我們回望這生機勃勃、萬物競發(fā)的 AI 黃金十年，新的問題涌上心頭：我們可以從這十年來的深度學習發(fā)展之路中總結(jié)出什么？這一顛覆世界的革命性技術(shù)，未來又將何去何從？

人工智能（AI）先驅(qū) Geoffrey Hinton 是十年前深度學習初創(chuàng)“革命”的開拓者之一。在他看來，未來 AI 技術(shù)的發(fā)展勢頭仍將一路加速。

2012 年，為 AI 帶來首個重大突破的關(guān)鍵神經(jīng)網(wǎng)絡(luò)研究橫空出世。而值此十周年紀念日之際，Hinton 和其他幾位 AI 杰出人士再度發(fā)聲，回擊了部分批評者提出的深度學習已經(jīng)“走進死胡同”的觀點。

Hinton 表示，“我們將看到機器人技術(shù)的巨大進步 —— 更靈巧、更敏捷、更順從的機器人即將誕生。它們可以像人類一樣高效、溫和地處理工作?！?/span>

其他 AI 先驅(qū)者，包括 Meta 公司首席科學家兼 AI 負責人 Yann LeCun，以及斯坦福大學教授李飛飛，也對 Hinton 的觀點表示贊同。幾位大佬都認定，2012 年在 ImageNet 數(shù)據(jù)庫上的開創(chuàng)性研究結(jié)果（基于以往的工作成果，成功解鎖計算機視覺乃至整體深度學習的全面進步）確實將深度學習推向了主流，并引發(fā)了一股難以阻擋的歷史洪流。

LeCun 在接受外媒 VentureBeat 采訪時提到，擋在 AI 前進道路上的種種阻礙，正以驚人的速度被加快掃除。連他自己都感嘆，“過去四五年的技術(shù)發(fā)展速度令人驚訝?！?/span>

而 2006 年建立起 ImageNet（首個用于計算機視覺算法的大規(guī)模人工標注照片數(shù)據(jù)集）的李飛飛，也在接受采訪時提到，2012 年以來，這場浩浩蕩蕩的深度學習發(fā)展大潮是“一場我做夢也無法想象的驚人革命”。

然而，木秀于林風必摧之。

耀眼的光環(huán)之下，也有尖銳的批評者認為深度學習存在很大局限，并認為這項技術(shù)的應用范圍極其狹窄。反對者還強調(diào)，神經(jīng)網(wǎng)絡(luò)的本質(zhì)上其實是又一場技術(shù)炒作，并不像某些支持者說的那樣有能力帶來根本性的突破。換言之，他們完全不認可“它是最終幫助我們達成期望中的「人工通用智能」（AGI）的基礎(chǔ)，即具備與人類相當?shù)耐评砟芰Φ?AI”這一論斷。

萬物競發(fā)的 AI 黃金十年

紐約大學名譽教授、Robust.AI 創(chuàng)始人兼 CEO Gary Marcus 曾在去年 3 月寫下一篇關(guān)于“深度學習走進‘死胡同’”的文章。在他看來，這項技術(shù)雖然取得了不錯的進展，但“卡在了關(guān)于物理世界的常識知識與推理這一環(huán)，再難寸進”。

華盛頓大學計算語言學教授、時常批評這場“深度學習泡沫”的 Emily Bender 則表示，她認為目前的自然語言處理（NLP）和計算機視覺模型，并不能算是“邁向人工智能和人工通用智能的實質(zhì)性腳步”。

無論如何，批評者也必須承認，計算機視覺和語言等關(guān)鍵應用確實取得了巨大進步。這也引得成千上萬家企業(yè)爭相利用深度學習的力量，進而在推薦引擎、翻譯軟件、聊天機器人等領(lǐng)域帶來令人印象深刻的現(xiàn)實成果。

然而，其中也有不少必須直面的嚴肅爭論。例如，AI 領(lǐng)域還有不少倫理和偏見等基本問題需要解決，治理者也需要監(jiān)管 AI，以保護公眾在就業(yè)、醫(yī)療保健和監(jiān)控等領(lǐng)域免受歧視。

2022 年，當我們回望這生機勃勃、萬物競發(fā)的 AI 黃金十年，新的問題涌上心頭：我們可以從這十年來的深度學習發(fā)展中總結(jié)出什么？這一顛覆世界的革命性技術(shù)，未來又將引何去何從？

Geoffrey Hinton

AI 先驅(qū)們早已預見到這場革命的到來

Hinton 稱，他一直都知道深度學習“革命”即將到來。

Hinton 在 1986 年發(fā)表的論文中普及了用于訓練多層神經(jīng)網(wǎng)絡(luò)的反向傳播算法。他表示，“有很多研究者都相信，這就是人工智能的未來。我們則一直在努力證明自己的這一論斷、證明自己所相信的東西。”

1989 年率先使用反向傳播和卷積神經(jīng)網(wǎng)絡(luò)的 LeCun 也對此表示贊同。他談到，“我絲毫也不懷疑未來的 AI，采用的仍然是我們八十和九十年代開發(fā)出的相關(guān)技術(shù)?！?/span>

與當時的主流觀念相反，Hinton 和 LeCun 等人堅持認為，多層神經(jīng)網(wǎng)絡(luò)等深度學習架構(gòu)可以應用于計算機視覺、語音識別、NLP 和機器翻譯等領(lǐng)域，進而產(chǎn)生近似甚至超越人類專家的表現(xiàn)。他們駁斥了那些抵觸他們研究成果的批評者，強調(diào)反向傳播與卷積神經(jīng)網(wǎng)絡(luò)等算法技術(shù)將成為推動 AI 進步的關(guān)鍵。不過當時學術(shù)界的普遍消極情緒也可以理解，畢竟在經(jīng)歷了八十和九十年代的一系列挫折之后，AI 技術(shù)已經(jīng)長期停滯不前。

與此同時，擔任斯坦福大學以人為本 AI 研究院聯(lián)合主任、前谷歌 AI 與機器學習首席科學家的李飛飛，也同樣對自己的假設(shè)充滿信心。她認為只要配合正確的算法，ImageNet 數(shù)據(jù)庫完全能夠推動計算機視覺與深度學習的跨越式發(fā)展。

她解釋道，“這是一種典型的開箱即用式機器學習思維方式，也對應著很高的風險。但我們在科學意義上相信自己的假設(shè)?！?/span>

但這一切仍然有待時間的檢驗。這些經(jīng)過數(shù)十年 AI 研究發(fā)展起來的理論，直到 2012 年秋才完全證明了自己。一場重大突破，最終引發(fā)了得到公認的深度學習革命。

2012 年 10 月，Hinton 的兩位博士生 Alex Krizhevsky 和 Ilya Sutskever 參加了由李飛飛組織的 ImageNet 競賽，嘗試為大規(guī)模對象檢測與圖像分類設(shè)計出可行的算法。師生三人憑借一篇題為《使用深度卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn) ImageNet 數(shù)據(jù)庫分類》的論文最終勝出。該論文使用 ImageNet 數(shù)據(jù)庫創(chuàng)建了一個名為 AlexNet 的開創(chuàng)性神經(jīng)網(wǎng)絡(luò)。而且事實證明，該模型在各種圖像的分類方面都要比以往任何方法準確得多。

這篇令 AI 研究界贊嘆不已的論文仍然站在早期突破的肩膀之上，再配合上 ImageNet 數(shù)據(jù)集和更強大的 GPU 硬件，直接開宗立派，為日后 Google Photos、Google Translate、Uber、Alexa、DALL-E 乃至 AlphaFold 翻開了歷史進程的嶄新一頁。

此后，對 AI 技術(shù)的投資呈現(xiàn)出指數(shù)級增長：全球 AI 初創(chuàng)資金從 2011 年的 6.7 億美元增長至 2020 年的 360 億美元，并于 2021 年再次翻番達到 770 億美元。

那一年，神經(jīng)網(wǎng)絡(luò)成為主流

經(jīng)歷了 2012 年震驚全球的 ImageNet 競賽，媒體開始全力跟進深度學習的發(fā)展趨勢。

ImageNet 競賽次月《紐約時報》發(fā)表的文章《科學家們在深度學習項目中看到了希望》提到，“科技企業(yè)報告稱，通過一種受人腦模式識別理論的啟發(fā)，新型 AI 技術(shù)已經(jīng)在諸多領(lǐng)域取得驚人進展，包括計算機視覺、語音識別乃至發(fā)現(xiàn)有前途的****物新分子等?！蔽恼逻€補充稱，“這種被稱為人工神經(jīng)網(wǎng)絡(luò)，或簡稱為神經(jīng)網(wǎng)絡(luò)的新技術(shù)，采用與人腦相似的神經(jīng)連接結(jié)構(gòu)，成功推動深度學習程序在速度與準確性方面達到一個又一個新高度?！?/span>

這一年，AlexNet 并不是深度學習領(lǐng)域唯一的超級明星。2012 年 6 月，谷歌 X 實驗室的研究人員也構(gòu)建了一個由 16000 個處理節(jié)點組成的神經(jīng)網(wǎng)絡(luò)，包含 10 億個連接。隨著時間推移，它開始總結(jié)出“貓”的特征，進而準確識別出 YouTube 視頻中出現(xiàn)的小貓形象。

與此同時，Jeffrey Dean 和吳恩達也在 Google Brain 的大規(guī)模圖像識別方面取得了突破。在 2012 年的 IEEE 計算機視覺與模式識別會議上，研究人員 Dan Ciregan 等人再次顯著提高了卷積神經(jīng)網(wǎng)絡(luò)在多個圖像數(shù)據(jù)庫上的最佳性能。

Hiton 總結(jié)道，到 2013 年，“幾乎所有計算機視覺研究都轉(zhuǎn)向了神經(jīng)網(wǎng)絡(luò)?！睆哪菚r起，他也開始奔走于多倫多大學和谷歌研究院。這是 AI 研究自 2007 年以來的一場重大變革，“在此之前，每次技術(shù)會議最多只會接收一篇關(guān)于深度學習的論文?！?/span>

李飛飛

深度學習的十年發(fā)展歷程

作為深度學習歷史性突破的親歷者，李飛飛在 2012 年那場 ImageNet 競賽上親自公布了獲勝選手。接下來十年深度學習的****，也在意大利佛羅倫薩的會議現(xiàn)場被正式定義。

李飛飛提到，“ImageNet 的構(gòu)想始于 2006 年，但當時幾乎沒人支持。

然而，最終它還是以光芒萬丈的方式獲得了認可和回報?！?/span>

自 2012 年開始，深度學習的發(fā)展速度驚人，學習模型的“深度”也開始不斷打破紀錄。

LeCun 表示“不少擋在 AI 發(fā)展道路上的阻礙被快速掃除”，于是自然語言理解、文本生成翻譯和圖像合成等應用領(lǐng)域全面起飛。

其中部分領(lǐng)域的發(fā)展速度甚至比預期更快。對 Hinton 來說，基于神經(jīng)網(wǎng)絡(luò)的機器翻譯特別令人印象深刻，而這方面嘗試其實始于 2014 年?！拔以疽詾椴粫敲纯臁！绷硪环矫妫铒w飛也對 DALL-E 贊賞有加，表示“進展比我想象中更快?！?/span>

敬告深度學習批評者

然而，并不是所有人都愿意為深度學習的進展而鼓掌喝彩。

2012 年 11 月，紐約大學名譽教授、Robust.AI 創(chuàng)始人兼 CEO Gary Marcus 就為《紐約客》撰寫了一篇文章，表示“套用一句古老的寓言——Hinton 造了一把好梯子，但無論多好的梯子都沒法讓人登上月球?！?/span>

Marcus 甚至斷言，時至今日，深度學習完全沒能讓 AI 比十年前更接近“月球”——也就是萬眾期待的人工通用智能，或者說能力與人類相當?shù)?AI。

“技術(shù)方面的進步當然客觀存在，但要想成功登月，必須解決因果理解和自然語言理解 / 推理的問題。深度學習在這些方向上并沒有太大進展?！?/span>

Marcus 還提到，他認為將神經(jīng)網(wǎng)絡(luò)與符號人工智能（在深度學習興起之前，在領(lǐng)域中占主導地位的 AI 分支）相結(jié)合的混合模型，才是突破神經(jīng)網(wǎng)絡(luò)極限的正確方向。

但 Hinton 和 LeCun 各自駁斥了 Marcus 的批評意見。

Hinton 表示“深度學習并沒有走進死胡同——只要看看最近發(fā)生的一切，就能感受到它的蓬勃力量。”但他也承認，深度學習所能解決的問題確實還比較有限。

LeCun 則補充稱，“我覺得壓根不存在什么死胡同，只是前進道路上還有需要掃除的障礙。我們目前不太清楚要怎么掃除，但深度學習的進展沒有放緩……如果非要說的話，反而是在一路加速。”

但反對派的 Bender 對此并不買賬。她在郵件采訪中強調(diào)，“在某種程度上，他們討論的還是根據(jù) ImageNet 等基準數(shù)據(jù)集提供的標簽，對圖像進行分類的所謂進展。2012 年確實是個歷史性的突破點，但除此以外的其他宏大目標還完全沒有被攻克，屬于典型的雷聲大雨點小?！?/span>

AI 偏見與倫理問題已迫在眉睫

Bender 還認為，AI 和深度學習技術(shù)已經(jīng)在不知不覺中走得太遠。“我相信超大規(guī)模數(shù)據(jù)集確實能為 AI 模型帶來強大的能力，通過算力加高效算法的方式生成合成文本和圖像。但這方面的成功形成了強大的發(fā)展慣性，于是研究者們似乎陷入了一種循環(huán)——人們「發(fā)現(xiàn)」模型存在偏見，于是嘗試去消除這些偏見。但大家都知道，時至今日也不存在真正無偏見的數(shù)據(jù)集或者 AI 模型?！?/span>

此外，她“希望看到 AI 領(lǐng)域能貫徹真正的問責標準，包括測試評判、經(jīng)驗主張乃至產(chǎn)品安全。為此，我們需要幫助民眾理解 AI 技術(shù)、看穿炒作宣傳，我們需要行之有效的監(jiān)管手段。”

但 LeCun 不這么看，他認為“這些訴求的實質(zhì)，都是人們想要對復雜的重要問題進行粗暴簡化”，而且很多人會做“有罪推定”。他堅持強調(diào)，大多數(shù)企業(yè)“其實都是想做正確的事”。

再有，他還抱怨了那些不愿參與 AI 技術(shù)研究、卻每天大放厥詞的批評者。

“那些身在場外指指點點的家伙甚至形成了自己的完整生態(tài)系統(tǒng)。但除了擾亂關(guān)注之外，他們起不到任何積極的作用?！?/span>

關(guān)于深度學習的爭論還將繼續(xù)

爭論氣氛看似緊張，但李飛飛強調(diào)這都是科學研究領(lǐng)域內(nèi)的正常討論。她解釋稱，“科學并不是真理，科學是尋求真理的過程。過程中必然有發(fā)現(xiàn)也有改進，所以爭論、批評和喝彩都是必不可少的環(huán)節(jié)?！?/span>

但也有一些爭論和批評意見讓她感覺“有點做作”，包括現(xiàn)在的 AI 路線有錯、以及 AGI 即將實現(xiàn)之類?！拔艺J為這本應是一場更深層、更微妙、更細致、更多維的科學爭論，但現(xiàn)在的情況有點淺表化了?！?/span>

當然，李飛飛也承認這十年來 AI 的發(fā)展表現(xiàn)令人失望，而且往往跟技術(shù)本身無關(guān)。“我覺得最令人失望的狀況發(fā)生在 2014 年，當時我和以前的學生們共同創(chuàng)立了 AI4ALL，希望將年輕女性、有色族裔和服務(wù)欠缺社群的學生們帶入 AI 世界。我們的目標，就是給 AI 世界帶來更加多樣化的未來?！?/span>

如今八年過去，她認為積極的變化來得太慢。“我希望看到更快、更深層次的變化，但各方付出的努力還遠遠不夠，特別是在初中和高中這個階段。我們不知不覺中失去了很多才華橫溢的年輕參與者?！?/span>

AI 與深度學習的未來

LeCun 承認，很多 AI 挑戰(zhàn)在吸納了大量資源投入之后仍未得到解決，其中最典型的一例就是自動駕駛。

“必須得說，人們可能低估了自動駕駛的復雜性。”LeCun 承認自己也沒有深入研究過這個領(lǐng)域，“但我知道這事很難，而且需要很長時間。我不同意某些人的觀點，他們說原理問題已經(jīng)基本解決……接下來只要把模型做得更大就行?！?/span>

事實上，LeCun 最近發(fā)布了一份建立“自主機器智能”的藍圖，這也表明他認為現(xiàn)有 AI 方法并不足以打造出與人類相當?shù)?AI 成果。

但他同時看到了深度學習未來的巨大潛力。他說最令自己感到興奮、并愿意為之奮斗的，就是讓機器獲得類似于動物、甚至人類的高效學習能力。

“對我來說，最大的問題就是動物到底遵循怎樣的學習原則。正因為如此，我才一直倡導自監(jiān)督學習等技術(shù)方向。這方面的進展將使我們得以構(gòu)建出目前遙不可及的成果，比如能夠在日常生活中幫助用戶的智能系統(tǒng)。它們就像是人類的助手，這才是大家所真正需要的。未來，我們一定會進入全民佩戴增強現(xiàn)實眼鏡的時代，我們將隨時隨地與 AI 互動。”

Hinton 也認為深度學習有著良好的進展。除了機器人技術(shù)的進步，他認為神經(jīng)網(wǎng)絡(luò)的底層計算基礎(chǔ)設(shè)施也將迎來新突破?！澳壳暗幕A(chǔ)設(shè)施是在用擅長矩陣乘法器的加速器執(zhí)行數(shù)字計算?！倍鴮τ诜聪騻鞑?，還需要把模擬信號轉(zhuǎn)換為數(shù)字信號。

“目前的反向傳播只能在模擬硬件中實現(xiàn)，未來我們一定會找到替代方案。

我也完全相信，從長遠來看，人類幾乎所有計算都將以模擬的方式完成?！?/span>

李飛飛則把深度學習的未來寄予在交流和教育上。“在斯坦福以人為本 AI 研究院，我們把大量精力投入到與商業(yè)領(lǐng)袖、政府官員、政策制定者、媒體、記者乃至整個社會的溝通中來，并建立了各種專題討論、會議、研討、政策簡報和行業(yè)簡報?！?/span>

她補充道，對于這樣一種出現(xiàn)不久的技術(shù)，“我個人擔心各方由于缺乏必要的背景知識，而無法傳達對 AI 時代的細致描述與深入思考?！?/span>

黃金十年：一段將永被銘記的深度學習歲月

對 Hinton 來說，過去十年來深度學習的發(fā)展“超越了我最瘋狂的想象”。

但他也強調(diào)，雖然深度學習取得了巨大進步，但這一切歸根結(jié)底還是源自計算機硬件的升級?！斑@一切都應該歸功于愈發(fā)強大的計算機硬件?！?/span>

而像 Marcus 這樣的批評者認為，深度學習目前取得的進展“在后世看來，也許反而是一種不幸。我認為 2050 年的人們會回顧 2022 年的 AI 系統(tǒng)，并感嘆當時的人們有勇氣、有干勁，但卻沒有走對方向?！?/span>

李飛飛則希望人們將這十年銘記為“偉大數(shù)字革命的開端，它使所有人——不是少數(shù)人或者部分人，而是所有人——都能更好地工作和生活?！?/span>

作為一名科學家，她表示“我當然不覺得如今的深度學習會是人類對于 AI 探索的終點。”在社會方面，她希望能讓 AI 成為“一種令人印象深刻的技術(shù)工具，而且始終以人為中心進行開發(fā)和使用。我們必須認識到這種工具帶來的深遠影響，并接受以人為本的思維框架、AI 設(shè)計和部署原則?！?/span>

畢竟，“后世對我們的評價，取決于我們當下所做的一切?！?/span>

原文鏈接：