朱晨光:一個(gè)從不通宵的AI研究員(2)
除了學(xué)習(xí),本科時(shí)期的朱晨光在科研上也取得了非常不錯(cuò)的成績。
姚班的培養(yǎng)模式是鼓勵(lì)學(xué)生走出教室,去世界頂級(jí)的高校或研究機(jī)構(gòu)進(jìn)行學(xué)術(shù)交流、做科研。2009年,正在上大三的朱晨光去了微軟亞洲研究院的機(jī)器學(xué)習(xí)組實(shí)習(xí)。他在姚班所學(xué)到的機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘課程知識(shí),剛好派上用場(chǎng)。
為期一年的實(shí)習(xí)中,朱晨光主要從事搜索引擎相關(guān)的工作。在微軟,他一共發(fā)表了8篇學(xué)術(shù)論文,其中,他參與基于隨機(jī)梯度下降的SVM與Logistic回歸的工作(“Inverse Time Dependency in Convex Regularized Learning”)發(fā)表在ICDM 2009,并獲得當(dāng)年的最佳學(xué)生論文獎(jiǎng)亞軍。
與此同時(shí),朱晨光也沒有停止參加競賽。他形容,競賽就像練武術(shù),“從小開始練的功夫,長大以后如果不偶爾打一下拳,就感覺全身放松不下來?!鄙狭舜髮W(xué)后,競賽雖然不再是他生活中的主旋律,但已經(jīng)成為他生命中不可分割的部分。
在清華讀書時(shí),他的賽場(chǎng)從NOI轉(zhuǎn)到了ACM/ICPC,與朱澤園等人組隊(duì),曾在亞洲賽區(qū)獲得4枚金牌。讀博后,他代表斯坦福大學(xué)參加ACM/ICPC,曾獲得2011年ACM/ICPC太平洋西北賽區(qū)冠軍、2012年ACM/ICPC全球第13名。
除了ACM/ICPC,他還參加其他小的編程競賽,比如斯坦福舉辦的編程競賽與IEEE/GOOGLE算法比賽,都獲得了第一名。朱晨光告訴AI科技評(píng)論:“其實(shí)我現(xiàn)在都還在參加比賽,周末在網(wǎng)上刷一下比賽題目,已經(jīng)成為一種習(xí)慣了?!?/p>
據(jù)他所知,“樓教主”樓天城(2004年IOI金牌得主)到現(xiàn)在也還在參加比賽,“我做的題目可能沒他多,但也比較執(zhí)著?!?/p>
朱晨光稱,少年參加競賽也許是為了獲得保送,但隨著年齡的增長,現(xiàn)在參賽更多是享受比賽的樂趣,“有種緊張感,很刺激。我喜歡那種緊張的感覺?!?/p>
在他的競賽活動(dòng)中,信息學(xué)并不是唯一的內(nèi)容。他從小練習(xí)乒乓球,也經(jīng)常參加乒乓球比賽,曾獲得2010年清華大學(xué)馬杯乒乓球男子單打比賽季軍。2015年,讀博期間,他還獲得了美國國家乒乓球錦標(biāo)賽U2000 D分區(qū)的冠軍,號(hào)稱“斯坦福最杰出的乒乓球選手”。
圖注:朱晨光獲得2015年美國乒乓球錦標(biāo)賽U2000冠軍
科研之余抽時(shí)間打球、競賽,朱晨光并不覺得累,反而認(rèn)識(shí)這是對(duì)生活的放松與調(diào)節(jié),因?yàn)閰⒓颖荣惻c平時(shí)跟朋友隨便打打球的氛圍完全不一樣。比賽是每分必爭,給他一種只有競爭才有的快感。
雖然學(xué)習(xí)、科研與競賽同時(shí)進(jìn)行,看似分身乏術(shù),但朱晨光從小到大都沒有通宵過。即使是工作后,趕論文ddl與產(chǎn)品上線發(fā)布,他也絕不熬夜,到點(diǎn)就睡。
3 斯坦福讀博:“鴨子劃水”
大四那年,朱晨光申請(qǐng)美國讀博,拿到了斯坦福大學(xué)與卡內(nèi)基梅隆大學(xué)(CMU)的全獎(jiǎng)博士offer。CMU位于匹茲堡,工業(yè)氣息更重,而斯坦福位于舊金山灣區(qū),臨近硅谷,綜合學(xué)科實(shí)力更強(qiáng),于是他便選擇了斯坦福。
后來他覺得,當(dāng)初的選擇是對(duì)的。在博士最后一年,當(dāng)他因?yàn)檎n題研究需求而想要修一個(gè)統(tǒng)計(jì)學(xué)碩士時(shí),他發(fā)現(xiàn)斯坦福計(jì)算機(jī)系有一個(gè)政策,允許計(jì)算機(jī)博士免費(fèi)讀一個(gè)碩士,而且斯坦福的統(tǒng)計(jì)學(xué)專業(yè)排名全美第一,為他提供了很好的學(xué)習(xí)機(jī)會(huì)。
在斯坦福讀博的六年,雖然業(yè)余有參加競賽和打球,但科研的壓力也是顯而易見的。
朱晨光形容,斯坦福學(xué)生的學(xué)習(xí)生活就像“鴨子劃水”:從水面上看,每只鴨子都在很悠閑地漂著,但到水底下一看,所有鴨子的腳都在嘩嘩地用力劃。斯坦福競爭激烈,大家都是表面上看起來輕松,實(shí)則外松內(nèi)緊。
讀博期間,朱晨光跟著Balaji Prabhakar教授從事基于機(jī)器學(xué)習(xí)的交通優(yōu)化研究。他做過一個(gè)有趣的項(xiàng)目,叫“擁堵與停車激勵(lì)”(Congestion and Parking Relief Incentives,簡稱“CAPRI”)系統(tǒng),通過現(xiàn)金激勵(lì)來改變?nèi)藗冊(cè)诟叻迤诘某鲂袝r(shí)間。
交通優(yōu)化的研究中,有一個(gè)重要的概念,叫“10%現(xiàn)象”,也就是說,如果能夠?qū)⒏叻迤趽矶侣范紊?0%的汽車出行時(shí)間偏離高峰期,那么交通堵塞情況就會(huì)得到明顯改善。以往的研究都是采取懲罰手段,但朱晨光所在的小組則轉(zhuǎn)向使用激勵(lì)手段,來吸引參與者改變自己的行為。
實(shí)驗(yàn)首先落在交通擁堵的斯坦福大學(xué)。他們將高峰期定義為早上8:00~9:00與晚上5:00~6:00。如果參與者在高峰期進(jìn)出學(xué)校則不得分,錯(cuò)峰出行則得分。積累到一定的分?jǐn)?shù)后,參與者可以抽獎(jiǎng)獲得數(shù)額不等的現(xiàn)金。
在抽獎(jiǎng)環(huán)節(jié),他們還引入社交網(wǎng)絡(luò),朋友之間可以觀察到對(duì)方的“好”行為。
圖注:CAPRI系統(tǒng)的積分抽獎(jiǎng)頁面
統(tǒng)計(jì)表明,在交通優(yōu)化中引入激勵(lì)方法有利于改變?nèi)藗兊某鲂蟹绞?。他們觀察到,項(xiàng)目的參與者會(huì)將原先的出行時(shí)間推遲或提早幾分鐘,在原定的高峰期附近又形成一個(gè)更小的高峰。這有利于緩解通勤高峰期的交通擁堵情況。
他們的研究受到了《紐約時(shí)報(bào)》、《華爾街日?qǐng)?bào)》等多家媒體的報(bào)道。
朱晨光感覺,博士生不像是學(xué)生,而更像是一個(gè)上班族,每天去的也不是教室,而是實(shí)驗(yàn)室。“如果和斯坦福的本科生與碩士生交流,大家會(huì)很喜歡開玩笑;但博士生之間交流就會(huì)變得嚴(yán)肅、注意分寸。”
由于在本科期間已經(jīng)有科研經(jīng)驗(yàn),也發(fā)過頂會(huì)論文,所以來到美國后,朱晨光很快就進(jìn)入了博士生的角色,會(huì)主動(dòng)去尋找研究課題,然后獨(dú)立完成課題,而不是等著博士導(dǎo)師派發(fā)任務(wù)、跟在別人后面被動(dòng)學(xué)習(xí)。
六年讀博,除了變得更加獨(dú)立,朱晨光最大的收獲就是科研思路更清晰。這要?dú)w功于導(dǎo)師Balaji Prabhakar,“他教會(huì)了我如何有邏輯地將一件事情捋清楚?!彼J(rèn)為,正是讀博期間的邏輯鍛煉,使得他在后來自己寫書、寫論文時(shí),能夠游刃有余,逐層推進(jìn)。
比如,2019年在寫《機(jī)器閱讀理解:算法與實(shí)踐》一書時(shí),動(dòng)筆之前,朱晨光在腦海里就已形成條理清晰的章節(jié)內(nèi)容。邏輯捋清楚,每天在完成微軟的正職工作之后,他就抽一個(gè)小時(shí)寫書,從字到句,從段到頁,從節(jié)到章,雷打不動(dòng)地堅(jiān)持了3個(gè)月,便順利完成初稿。
雖然博士畢業(yè)后,朱晨光沒有繼續(xù)從事交通優(yōu)化研究,但對(duì)他來說,從博導(dǎo)那里學(xué)到的邏輯思路是伴隨一生的,即使跨領(lǐng)域也能有所裨益。
圖注:2016年斯坦福博士畢業(yè)典禮,朱晨光與導(dǎo)師Balaji Prabhakar合影
關(guān)于硅谷的印象,朱晨光認(rèn)為,就計(jì)算機(jī)行業(yè)而言,硅谷的科技規(guī)模、人才密度、科研創(chuàng)新能力是當(dāng)之無愧的世界第一。
此外,硅谷的創(chuàng)業(yè)氛圍非常濃厚。“如果去餐館吃飯,你會(huì)經(jīng)常聽到旁邊桌子在討論創(chuàng)業(yè)想法、找投資。也有很多人在星巴克抱著電腦寫程序?!彼劦?,也有很多創(chuàng)業(yè)者來到斯坦福找技術(shù)人才,他周圍的許多博士同學(xué)就選擇了退學(xué)創(chuàng)業(yè)。
但博士畢業(yè)后,朱晨光卻沒有留在硅谷工作,而是去了位于西雅圖的微軟總部擔(dān)任研究員。
2012年暑假,他去了微軟雷德蒙研究院通訊與存儲(chǔ)組實(shí)習(xí),設(shè)計(jì)與執(zhí)行新的內(nèi)容感知SSD捕捉算法,研究結(jié)果被應(yīng)用于Windows Server 2012 R2。
在這次實(shí)習(xí)中,他覺得西雅圖更適合自己居住。朱晨光提到,他的皮膚比較敏感,加州的陽光太強(qiáng)烈,一曬就容易發(fā)紅;而西雅圖的天氣比較濕潤,皮膚比較適應(yīng)。在西雅圖上班,從家里開車到公司,一路上能夠看到雪山與綠樹,也很符合他的審美。
4 企業(yè)科研:滿足需求是關(guān)鍵
“微軟讓我有一種家的感覺?!敝斐抗膺@樣形容。
從本科大三的第一份實(shí)習(xí)開始,微軟就成為了朱晨光唯一的首選職業(yè)目標(biāo)。最初他是因?yàn)檠瞿轿④泚喲械拿?hào)而去實(shí)習(xí),但在后來的交集中,他感覺微軟的工作氛圍非常自由,有許多施展個(gè)人能力的空間,也很有人情味。
博士剛畢業(yè)那會(huì),他去微軟面試,遇到了后來為《機(jī)器閱讀理解》一書寫序的黃學(xué)東老師。黃學(xué)東是微軟全球人工智能首席技術(shù)官,非常愛惜人才,了解到他是姚班、斯坦福畢業(yè)后,與他聊了很多,還涉及到他以后的職業(yè)規(guī)劃,讓他感覺很親切。而朱晨光的老板曾南山是原微軟亞洲互聯(lián)網(wǎng)工程院副院長,有著豐富的管理和研發(fā)經(jīng)驗(yàn),也給了他很多指導(dǎo)和啟發(fā)。因此,他義無反顧地再次選擇了微軟。
“微軟被稱為‘IT界的黃埔軍?!矣X得不是一件偶然的事。它的發(fā)展歷史已經(jīng)很悠久,但無論是從人才儲(chǔ)備、產(chǎn)業(yè)品牌,還是從未來創(chuàng)新研究來看,微軟都是現(xiàn)有互聯(lián)網(wǎng)大廠里的佼佼者之一?!?/p>
朱晨光認(rèn)為,微軟的最可貴之處在于,雖然規(guī)模大、歷史久,但微軟對(duì)研究方向的嗅覺十分靈敏,總是能夠掌握到科技與商業(yè)的前進(jìn)脈搏。從Windows與Office,到搜索,再到人工智能,微軟的發(fā)展總是緊跟風(fēng)向。
進(jìn)入微軟后,他的研究方向也隨著微軟的業(yè)務(wù)調(diào)整而轉(zhuǎn)變。本科實(shí)習(xí)時(shí),他在微軟亞研更多是做搜索,研究如何提高必應(yīng)的搜索質(zhì)量;博士畢業(yè)入職后,微軟的研究重心之一放在自然語言理解,他也從交通優(yōu)化轉(zhuǎn)到了NLP。換句話說,他與微軟是共同成長。
在這一點(diǎn)上,他提到,微軟會(huì)針對(duì)不同的崗位設(shè)置培訓(xùn)課程,幫助大家適應(yīng)新的研究方向。比如,剛接觸NLP時(shí),朱晨光是跟著組里的人一起讀論文,自學(xué)深度學(xué)習(xí)的課程,以及參加微軟內(nèi)部的培訓(xùn)。
朱晨光在2016年1月入職微軟,2020年便升為了認(rèn)知服務(wù)研究部門知識(shí)與語言小組的首席研究經(jīng)理。
與高校做研究不同,朱晨光總結(jié),在企業(yè)做科研,要懂得靈活根據(jù)產(chǎn)品需求來調(diào)整自己的研究方向。
技術(shù)組與產(chǎn)品組的合作主要有兩種方式:一種是問清楚需求,利用技術(shù)從根源解決需求,“這種研究只要做出來,產(chǎn)品轉(zhuǎn)化率非常高?!绷硪环N是引領(lǐng)產(chǎn)品方向,走在產(chǎn)品組前面,幫他們提問題,做出成果后,再去跟產(chǎn)品組談如何將業(yè)務(wù)系統(tǒng)化。
在這兩種模式下,科研往往既能體現(xiàn)科研價(jià)值,也能創(chuàng)造商業(yè)價(jià)值。這也許是朱晨光轉(zhuǎn)變研究方向,從頭開始,也能夠在4年內(nèi)晉升為首席研究經(jīng)理的原因之一。
“我覺得公司招聘我們過來,看重的不是我們之前的研究經(jīng)歷,而是一種潛力,微軟稱之為‘growth mindset’(成長型思維),能否將已有的經(jīng)驗(yàn)轉(zhuǎn)移到研究其他任務(wù)的能力。未來的研究是多變的,所以不會(huì)僅看當(dāng)下的能力匹配度。”朱晨光解釋。
剛進(jìn)微軟時(shí),朱晨光的研究內(nèi)容是客戶對(duì)話系統(tǒng)與機(jī)器閱讀理解。他曾領(lǐng)導(dǎo)小組在2017年斯坦福機(jī)器閱讀理解挑戰(zhàn)賽SQuAD中獲得全球第一名,2019年又在斯坦福對(duì)話閱讀理解挑戰(zhàn)賽CoQA中設(shè)計(jì)模型超越人類表現(xiàn)、獲得第一名,其在比賽中提出的FusionNet模型已被應(yīng)用于微軟Bing的問答產(chǎn)品中。
他還在中國計(jì)算機(jī)學(xué)會(huì)(CCF)原秘書長杜子德的邀請(qǐng)下,將自己在機(jī)器閱讀理解上的學(xué)習(xí)與研究經(jīng)歷匯總成“機(jī)器閱讀理解:如何讓計(jì)算機(jī)讀懂文章 ”一文,發(fā)表在2019年2月的《中國計(jì)算機(jī)學(xué)會(huì)通訊》上。
文章大火,于是朱晨光又在機(jī)械工業(yè)出版社的邀請(qǐng)下寫了《機(jī)器閱讀理解:算法與實(shí)踐》一書。杜子德老師欣然為此書作序。
圖注:《機(jī)器閱讀理解:算法與實(shí)踐》中英文雙版
2019年,隨著業(yè)務(wù)的調(diào)整,朱晨光又將研究重點(diǎn)轉(zhuǎn)向了文本總結(jié)與知識(shí)圖譜。
他認(rèn)為,在一個(gè)信息爆炸的時(shí)代,大家對(duì)信息獲取的速度與質(zhì)量有很高的要求,所以文本總結(jié)對(duì)吸引閱讀至關(guān)重要。于是,他開發(fā)了一種利用新聞的倒金字塔結(jié)構(gòu)訓(xùn)練大規(guī)模文本總結(jié)模型的方法,不用任何人工標(biāo)注的總結(jié),就可以達(dá)到很好的效果。這項(xiàng)研究發(fā)表在SIGIR 2021會(huì)議,并應(yīng)用于Microsoft News等產(chǎn)品上,不斷提升了用戶的閱讀體驗(yàn)。
而知識(shí)圖譜的研究是針對(duì)當(dāng)前許多深度學(xué)習(xí)模型的“黑盒”特性而缺少可解釋性,希望通過以圖的形式呈現(xiàn)人類知識(shí),供機(jī)器模型學(xué)習(xí),提高機(jī)器的智能程度。通過融入知識(shí),使得用戶可以手動(dòng)控制大規(guī)模模型的預(yù)測(cè),這使得整個(gè)模型決策的過程更加透明。他們團(tuán)隊(duì)的成果在CommonsenseQA、CommonGen等賽事中多次登上榜首,并發(fā)表在ACL, EMNLP, NAACL等頂級(jí)NLP會(huì)議上。
朱晨光提到,成績的取得與整個(gè)團(tuán)隊(duì)的努力是分不開的。他非??春矛F(xiàn)在負(fù)責(zé)的知識(shí)與語言研究組。朱晨光得意地稱,“我覺得我們是一個(gè)明星小組。組內(nèi)一共有8個(gè)研究員,3個(gè)畢業(yè)于斯坦福,2個(gè)畢業(yè)于CMU,還有2個(gè)是姚班的畢業(yè)生,都擁有自然語言處理方向的博士學(xué)歷?!?/p>
在管理研究組時(shí),他的主要工作是根據(jù)公司需求定下基本的研究方向,然后給研究員提供自由研究的空間,讓大家發(fā)揮各自的特長?!胺较蚨ê煤螅扇∈裁捶椒ń鉀Q,他們自己選,然后我和他們一起討論?!?/p>
他幾乎可以肯定,在未來5年,他的研究方向會(huì)發(fā)生更大的改變,因?yàn)榧夹g(shù)的更新迭代非常快。在不斷成長的同時(shí),朱晨光也要求自己不斷學(xué)習(xí)。
比如,他堅(jiān)持每天至少閱讀一篇學(xué)術(shù)論文,以此來掌握NLP領(lǐng)域的最新知識(shí)與研究動(dòng)態(tài)。既是為了能夠及時(shí)調(diào)整自己的研究內(nèi)容、以適應(yīng)產(chǎn)品的需求,也是為了緊跟潮流、不被時(shí)代淘汰。
5 寫在最后
雖然已離開校園多年,但朱晨光在少年時(shí)養(yǎng)成的“競爭生存意識(shí)”仍在不斷驅(qū)使他繼續(xù)學(xué)習(xí)。他稱:“無論是公司還是個(gè)人,不進(jìn)步都會(huì)被淘汰?!?/p>
在微軟做科研,最忙碌的情況一般是頂會(huì)投稿截止時(shí)間逼近,以及產(chǎn)品準(zhǔn)備上線前夕。但總的來說,他在下班之后還是有時(shí)間看看書、充充電。
他看書的種類很廣,不只限于自然語言處理,還有統(tǒng)計(jì)、機(jī)器學(xué)習(xí)、信息論等。他認(rèn)為,如果只關(guān)注自己的工作內(nèi)容本身,很快就會(huì)落后。而且,在帶組后,他不僅需要關(guān)注個(gè)人的科研,還要保證組內(nèi)的成員都走在正確的道路上,這就要求他走在前沿,當(dāng)一個(gè)合格的掌舵人。
在帶小組時(shí),他也要求組內(nèi)的成員至少同時(shí)進(jìn)行兩項(xiàng)工作,以備在一項(xiàng)工作沒有進(jìn)展時(shí)、隨時(shí)有另一項(xiàng)工作頂替,不至于一潰即散。
對(duì)于立志從事人工智能研究的學(xué)生,朱晨光提了三點(diǎn)建議:
首先,有三門課一定要學(xué)好,那就是數(shù)學(xué)、英語與計(jì)算機(jī)。“學(xué)計(jì)算機(jī)并非是只學(xué)編程,還要經(jīng)常閱讀前沿的研究成果,這就需要一定的英語能力;要弄清楚研究背后更深層次的原理,那就需要了解數(shù)據(jù)?!?/p>
其次,要勤于溝通,與前輩、師長及同學(xué)多交流,避免方向出錯(cuò)。他提到,在申請(qǐng)學(xué)校、實(shí)習(xí)與做研究時(shí),他與競賽時(shí)認(rèn)識(shí)的朋友、清華與斯坦福的同學(xué)與老師、微軟的領(lǐng)導(dǎo)與同事交流,他們都給了他很多指導(dǎo)與建議,讓他少走了很多彎路。
最后,一定要在廣泛涉獵的基礎(chǔ)上堅(jiān)持一個(gè)方向,比如機(jī)器學(xué)習(xí)。朱晨光說:“只要保持專注,堅(jiān)持不懈,成功一定在不遠(yuǎn)處?!?/p>
*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布,僅代表博主個(gè)人觀點(diǎn),如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。