ChatGPT背后真正的英雄：OpenAI首席科學(xué)家Ilya Sutskever的信仰之躍

導(dǎo)讀

ChatGPT的橫空出世萬眾矚目，但我們不應(yīng)忘記在它背后默默無聞的天才。Ilya Sutskever是OpenAI的聯(lián)合創(chuàng)始人和首席科學(xué)家。正是在他的領(lǐng)導(dǎo)下，OpenAI在開發(fā)尖端技術(shù)和推動(dòng)人工智能領(lǐng)域的發(fā)展方面取得了重大進(jìn)展。在這篇文章中，我們將探討二十年間，Sutskever是如何從一個(gè)年輕的研究人員一步步走到人工智能領(lǐng)域的領(lǐng)導(dǎo)人物之一的。無論你是人工智能愛好者，還是研究人員，或者僅僅是對(duì)這一領(lǐng)域的內(nèi)部運(yùn)作感到好奇的人，這篇文章都會(huì)提供寶貴的觀點(diǎn)和信息。
本文編譯自https://journeymatters.ai/ilya-the-brain-behind-chatgpt/作者/Munish Gandhi    編譯/牛夢琳，李夢佳

本文遵循以下時(shí)間線： 

2003: Ilya Sutskever的拜師之旅

2011: 初識(shí)AGI

2012: 圖像識(shí)別的革命

2013: 將DNNresearch拍賣給谷歌

2014: 語言翻譯的革命

2015: 從谷歌到OpenAI：人工智能的新篇章

2018: GPT 1、2和3

2021: 開發(fā)DALL-E 1

2022年：向世界揭開ChatGPT的面紗

Ilya Sutskever

OpenAI的聯(lián)合創(chuàng)始人和首席科學(xué)家，2005年畢業(yè)于多倫多大學(xué)，2012年獲得CS博士學(xué)位。2012年至今，他曾先后就職于斯坦福大學(xué)，DNNResearch，Google Brain，從事機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的相關(guān)研究，并于2015年放棄谷歌的高薪職位，與Greg Brockman等人聯(lián)合創(chuàng)建了OpenAI，在OpenAI主導(dǎo)了GPT-1，2，3以及DALLE系列模型的研發(fā)。2022年，他入選英國皇家科學(xué)學(xué)會(huì)院士。他是人工智能領(lǐng)域的先驅(qū)，在塑造人工智能的當(dāng)前格局方面發(fā)揮了重要作用，并在繼續(xù)推動(dòng)機(jī)器學(xué)習(xí)的可能性的界限。他對(duì)人工智能的熱情讓他的開創(chuàng)性研究熠熠生輝，也由此塑造了深度學(xué)習(xí)和機(jī)器學(xué)習(xí)領(lǐng)域的發(fā)展歷程。

2003:

對(duì)Ilya Sutskever的初印象

在多倫多大學(xué)讀本科時(shí)，Sutskever想加入Geoffrey Hinton教授的深度學(xué)習(xí)實(shí)驗(yàn)室。于是，他在某一天直接敲開了Hinton教授辦公室的門，詢問自己是否可以加入實(shí)驗(yàn)室。教授讓他提前預(yù)約，但Sutskever不想再浪費(fèi)時(shí)間，所以他立即問："就現(xiàn)在怎么樣？"

Hinton意識(shí)到Sutskever是一個(gè)敏銳的學(xué)生，于是給了他兩篇論文讓他閱讀。一周后，Sutskever回到教授辦公室，然后告訴教授他不理解。
“為什么不理解？”教授問。Sutskever解釋說：“人們訓(xùn)練神經(jīng)網(wǎng)絡(luò)來解決問題，當(dāng)人們想解決不同問題時(shí)，就得用另外的神經(jīng)網(wǎng)絡(luò)重新開始訓(xùn)練。但我認(rèn)為人們應(yīng)該有一個(gè)能夠解決所有問題的神經(jīng)網(wǎng)絡(luò)。"

這段話展示了Sutskever得出結(jié)論的獨(dú)特能力，而這種能力即使是有經(jīng)驗(yàn)的研究人員也需要花費(fèi)數(shù)年時(shí)間才能找到，Hinton于是向他發(fā)出邀請(qǐng)，希望他加入自己的實(shí)驗(yàn)室。

2011: 初識(shí)AGI

Sutskever：我不認(rèn)同這個(gè)想法（AGI）

Sutskever還在多倫多大學(xué)時(shí)，曾飛到倫敦去DeepMind找工作。在那里他見到了Demis Hassabis 和 Shane Legg（DeepMind的聯(lián)合創(chuàng)始人），他們正在建立AGI（Artificial General Intelligence，人工通用智能）。AGI是一種通用的人工智能，它能夠像人類一樣思考和推理，并完成與人類智能相關(guān)的各種任務(wù)，如理解自然語言，從經(jīng)驗(yàn)中學(xué)習(xí)，做出決定，以及解決問題。

在當(dāng)時(shí)，AGI并不是嚴(yán)肅的研究人員會(huì)談?wù)摰臇|西。Sutskever也認(rèn)為他們已經(jīng)與現(xiàn)實(shí)脫節(jié)，所以他拒絕了這份工作，回到了大學(xué)，最終于2013年加入了谷歌。

2012: 圖像識(shí)別革命

ImageNet競賽中獲勝

Geoffrey Hinton慧眼獨(dú)具，在其他人都不相信的時(shí)候相信了深度學(xué)習(xí)。并且他堅(jiān)信，在ImageNet競賽中獲得成功就會(huì)徹底解決這一爭論。

ImageNet競賽：斯坦福大學(xué)的實(shí)驗(yàn)室每年都會(huì)舉辦ImageNet競賽。他們?yōu)閰①愓咛峁┝艘粋€(gè)由精心標(biāo)記的照片組成的龐大數(shù)據(jù)庫，來自世界各地的研究人員都會(huì)來參加比賽，嘗試創(chuàng)建一個(gè)能夠識(shí)別最多的圖像的系統(tǒng)。

Hinton的兩個(gè)學(xué)生，伊利亞-蘇茨克沃（Ilya Sutskever）和亞歷克斯-克里切夫斯基（Alex Krizhevsky）參加了這個(gè)比賽。他們打破了傳統(tǒng)的手工設(shè)計(jì)方案，采用了深度神經(jīng)網(wǎng)絡(luò)，并突破了75%的準(zhǔn)確率大關(guān)。因此他們贏得了ImageNet競賽，他們的系統(tǒng)后來被命名為AlexNet。

從那時(shí)起，圖像識(shí)別領(lǐng)域煥然一新。

后來，Sutskever、Krizhevsky和Hinton發(fā)表了一篇關(guān)于AlexNet的論文，這篇論文成為計(jì)算機(jī)科學(xué)領(lǐng)域被引用次數(shù)最多的論文之一，總共被其他研究人員引用了6萬多次。

2013: 將DNNresearch拍賣給谷歌

Sutskever&Krizhevsky：您值得更大比例的分紅。Hinton：你們分我的錢太多了。Sutskever&Krizhevsky：但我們已經(jīng)決定好了，讓您占大頭。Hinton：這體現(xiàn)了他們的人品。

Hinton與Sutskever，Krizhevsky一起，成立了一家名為DNNresearch的新公司。他們沒有任何產(chǎn)品，也沒有在未來打造任何產(chǎn)品的計(jì)劃。

Hinton問律師，如何讓他的新公司具有最大的價(jià)值，盡管目前只有三名員工，既沒有產(chǎn)品，也沒有底蘊(yùn)。律師給他的選擇之一是設(shè)立一個(gè)拍賣會(huì)。有四家公司參與了收購：百度、谷歌、微軟和DeepMind（當(dāng)時(shí)還是一家年輕的起步于倫敦的創(chuàng)業(yè)公司）。第一個(gè)退出的是DeepMind，其次是微軟，最后只剩下百度和谷歌在競爭。

到某天晚上接近午夜時(shí)分，拍賣價(jià)格高達(dá)4400萬美元，Hinton于是暫停了競標(biāo)并且去睡了一覺。第二天，他宣布拍賣結(jié)束，并以4400萬美元將他的公司賣給了谷歌，他認(rèn)為為他的研究找到合適的“家”更重要。在這一點(diǎn)上，Hinton和他的學(xué)生們一樣，把他們的想法置于經(jīng)濟(jì)利益之上。

平分收益的時(shí)候，Sutskever和Krizhevsky堅(jiān)持認(rèn)為Hinton應(yīng)該得到更大的份額（40%），盡管Hinton建議他們不如先睡一覺。第二天，他們?nèi)匀粓?jiān)持這種分配方式。Hinton后來評(píng)論說：“這能體現(xiàn)他們的為人，而非我的”。

在這之后，Sutskever成為了谷歌大腦的研究科學(xué)家，他的想法產(chǎn)生了更大的變化，并開始與DeepMind創(chuàng)始人的想法逐漸一致。他開始相信，屬于AGI的未來就在眼前。當(dāng)然，Sutskever本人也從不畏懼在面對(duì)新信息或經(jīng)驗(yàn)時(shí)改變主意。畢竟相信AGI需要的是信仰之躍，正如謝爾蓋-萊文（Sergey Levine，Sutskever在谷歌的同事）對(duì)Sutskever的評(píng)價(jià)：“他是一個(gè)不害怕‘相信’的人。”

2014: 語言翻譯的革命

Sutskever：正確的結(jié)論是，如果你有一個(gè)非常大的數(shù)據(jù)集和一個(gè)非常龐大的神經(jīng)網(wǎng)絡(luò)，那么取得成功是必然的。（性能最優(yōu)的翻譯器）

在收購了DNNResearch之后，谷歌聘請(qǐng)Sutskever為谷歌大腦的研究科學(xué)家。

在谷歌工作期間，Sutskever發(fā)明了一種神經(jīng)網(wǎng)絡(luò)的變體，能將英語翻譯成法語。他提出了 “序列到序列學(xué)習(xí)”（Sequence to Sequence Learning），它能捕捉到輸入的序列結(jié)構(gòu)（如英語的句子），并將其映射到同樣具有序列結(jié)構(gòu)的輸出（如法語的句子）。

他說，研究人員本不相信神經(jīng)網(wǎng)絡(luò)可以做翻譯，所以當(dāng)它們真的能翻譯時(shí)，這就是一個(gè)很大的驚喜。他的發(fā)明擊敗了表現(xiàn)最好的翻譯器，為谷歌翻譯提供了重大升級(jí)。語言翻譯從此變得不一樣了。

2015: 

從谷歌到OpenAI：人工智能的新篇章

• GPT-1（2018年）：這是該系列的第一個(gè)模型，是在一個(gè)大規(guī)模的互聯(lián)網(wǎng)文本數(shù)據(jù)集上訓(xùn)練的。它的關(guān)鍵創(chuàng)新之一是使用無監(jiān)督的預(yù)訓(xùn)練，在這種情況下，模型學(xué)習(xí)根據(jù)前面的單詞的上下文來預(yù)測句子中的單詞。這使得該模型能夠?qū)W習(xí)語言結(jié)構(gòu)，并生成類似人類的文本。
• GPT-2（2019年）：在GPT-1的成功基礎(chǔ)上，它在一個(gè)更大的數(shù)據(jù)集上進(jìn)行了訓(xùn)練，產(chǎn)生了一個(gè)更強(qiáng)大的模型。GPT-2的主要進(jìn)步之一是它能夠就廣泛的主題生成連貫和流暢的文本段落，這使它成為了無監(jiān)督語言理解和生成任務(wù)的關(guān)鍵角色。
• GPT-3（2020年）：GPT-3在規(guī)模和性能上都是一個(gè)實(shí)質(zhì)性的飛躍。它是在一個(gè)大規(guī)模的數(shù)據(jù)集上訓(xùn)練的，使用了1750億個(gè)參數(shù)，比以前的模型大得多。GPT-3在廣泛的語言任務(wù)上取得了最先進(jìn)的性能，如問題回答、機(jī)器翻譯和總結(jié)，具有接近人類的能力。它還顯示了執(zhí)行簡單的編碼任務(wù)、編寫連貫的新聞文章、甚至生成詩歌的能力。
• GPT-4：預(yù)計(jì)很快就會(huì)出現(xiàn)，預(yù)計(jì)就在2023年。
  

2021: 開發(fā)DALL-E 1

Sutskever還領(lǐng)導(dǎo)OpenAI發(fā)明了DALL-E 1，這是一個(gè)由AI驅(qū)動(dòng)的圖像生成模型。它使用了與GPT模型類似的架構(gòu)和訓(xùn)練過程，但被應(yīng)用于圖像的生成，而非文本。

今天許多主要的圖像生成器--DALL-E 2、MidJourney--在DALL-E 1之后，它們基于類似的變換器架構(gòu)，并在類似的圖像數(shù)據(jù)集和相關(guān)文字說明上進(jìn)行訓(xùn)練。DALL-E 2和MidJourney都是DALL-E 1后的新進(jìn)展。 

2022年：向世界揭開ChatGPT的面紗

尾注

如今我們已經(jīng)見證了Sutskever對(duì)我們這個(gè)世界的影響。很顯然，這僅僅是個(gè)開始。