微軟亞洲研究院：NLP將迎來(lái)黃金十年

　　面向任務(wù)的對(duì)話系統(tǒng)比如微軟的小娜通過(guò)手機(jī)和智能設(shè)備讓人與電腦進(jìn)行交流，由人發(fā)布命令，小娜理解并完成任務(wù)。同時(shí)，小娜理解你的習(xí)慣，可主動(dòng)給你一些貼心提示。而聊天機(jī)器人，比如微軟的小冰負(fù)責(zé)聊天。無(wú)論是小娜這種注重任務(wù)執(zhí)行的技術(shù)，還是小冰這種聊天系統(tǒng)，其實(shí)背后單元處理引擎無(wú)外乎三層技術(shù)：第一層，通用聊天機(jī)器人;第二層，搜索和問(wèn)答(Infobot);第三層，面向特定任務(wù)對(duì)話系統(tǒng)(Bot)。

　　3、聊天系統(tǒng)的架構(gòu)

　　機(jī)器閱讀理解

　　自然語(yǔ)言理解的一個(gè)重要研究課題是閱讀理解。

　　閱讀理解就是讓電腦看一遍文章，針對(duì)這些文章問(wèn)一些問(wèn)題，看電腦能不能回答出來(lái)。機(jī)器閱讀理解技術(shù)有著廣闊的應(yīng)用前景。例如，在搜索引擎中，機(jī)器閱讀理解技術(shù)可以用來(lái)為用戶的搜索(尤其是問(wèn)題型的查詢)提供更為智能的答案。我們通過(guò)對(duì)整個(gè)互聯(lián)網(wǎng)的文檔進(jìn)行閱讀理解，從而直接為用戶提供精確的答案。同時(shí)，這在移動(dòng)場(chǎng)景的個(gè)人助理，如微軟小娜(Cortana)里也有直接的應(yīng)用：智能客服中可使用機(jī)器閱讀文本文檔(如用戶手冊(cè)、商品描述等)來(lái)自動(dòng)或輔助客服來(lái)回答用戶的問(wèn)題;在辦公領(lǐng)域可使用機(jī)器閱讀理解技術(shù)處理個(gè)人的郵件或者文檔，然后用自然語(yǔ)言查詢獲取相關(guān)的信息;在教育領(lǐng)域用來(lái)可以用來(lái)輔助出題;在法律領(lǐng)域可用來(lái)理解法律條款，輔助律師或者法官判案;在金融領(lǐng)域里從非結(jié)構(gòu)化的文本(比如新聞中)抽取金融相關(guān)的信息等。機(jī)器閱讀理解技術(shù)可形成一個(gè)通用能力，第三方可以基于它構(gòu)建更多的應(yīng)用。

　　斯坦福大學(xué)在 2016 年 7 月發(fā)布了一個(gè)大規(guī)模的用于評(píng)測(cè)閱讀理解技術(shù)的數(shù)據(jù)集(SQuAD)，包含 10 萬(wàn)個(gè)由人工標(biāo)注的問(wèn)題和答案。SQuAD 數(shù)據(jù)集中，文章片段(passage)來(lái)自維基百科的文章，每個(gè)文章片段(passage)由眾包方式，標(biāo)注人員提 5 個(gè)問(wèn)題，并且要求問(wèn)題的答案是 passage 中的一個(gè)子片段。標(biāo)注的數(shù)據(jù)被分成訓(xùn)練集和測(cè)試集。訓(xùn)練集公開(kāi)發(fā)布用來(lái)訓(xùn)練閱讀理解系統(tǒng)，而測(cè)試集不公開(kāi)。參賽者需要把開(kāi)發(fā)的算法和模型提交到斯坦福由其運(yùn)行后把結(jié)果報(bào)在網(wǎng)站上。

　　一開(kāi)始，以 100 分為例，人的水平是 82.3 左右，機(jī)器的水平只有 74 分，機(jī)器相差甚遠(yuǎn)。后來(lái)通過(guò)不斷改進(jìn)，機(jī)器閱讀理解性能得以逐步地提高。2018 年 1 月，微軟亞洲研究院提交的 R-Net 系統(tǒng)首次在 SQuAD 數(shù)據(jù)集上以 82.65 的精準(zhǔn)匹配的成績(jī)首次超越人類在這一指標(biāo)上的成績(jī)。隨后阿里巴巴、科大訊飛和哈工大的系統(tǒng)也在這一指標(biāo)上超越人類水平。標(biāo)志著閱讀理解技術(shù)進(jìn)入了一個(gè)新的階段。最近微軟亞洲研究院的 NL-Net 和谷歌的 BERT 系統(tǒng)又先后在模糊匹配指標(biāo)上突破人類水平。對(duì)于閱讀理解技術(shù)的推動(dòng)，除了 SQuAD 數(shù)據(jù)集起到了關(guān)鍵作用之外，還有如下三個(gè)方的因素：首先，是端到端的深度神經(jīng)網(wǎng)絡(luò)。其次，是預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò);最后，是系統(tǒng)和網(wǎng)絡(luò)結(jié)構(gòu)上的不斷創(chuàng)新。

　　4、機(jī)器創(chuàng)作

　　機(jī)器可以做很多理性的東西，也可以做出一些創(chuàng)造性的東西。

　　早在 2005 年，微軟亞洲研究院在時(shí)任院長(zhǎng)沈向洋的提議和支持下成功研發(fā)了《微軟對(duì)聯(lián)》系統(tǒng)。用戶出上聯(lián)，電腦對(duì)出下聯(lián)和橫批，語(yǔ)句非常工整。

　　在此基礎(chǔ)上，我們又先后開(kāi)發(fā)了格律詩(shī)和猜字謎的智能系統(tǒng)。在字謎游戲里，用戶給出謎面，讓系統(tǒng)猜出字，或系統(tǒng)給出謎面讓用戶猜出字。2017 年微軟研究院開(kāi)發(fā)了電腦寫自由體詩(shī)系統(tǒng)、作詞譜曲系統(tǒng)。中央電視臺(tái)《機(jī)智過(guò)人》節(jié)目就曾播放過(guò)微軟的電腦作詞譜曲與人類選手進(jìn)行詞曲創(chuàng)作比拼的內(nèi)容。這件事說(shuō)明如果有大數(shù)據(jù)，那么深度學(xué)習(xí)就可以模擬人類的創(chuàng)造智能，也可以幫助專家產(chǎn)生更好的想法。

　　就作詞來(lái)說(shuō)，寫一首歌詞首先要決定主題。比如想寫一首與“秋”，“歲月”，“滄桑”，“感嘆”相關(guān)的歌，利用詞向量表示技術(shù)，可知“秋風(fēng)”、“流年”、“歲月”、“變遷”等詞語(yǔ)比較相關(guān)，通過(guò)擴(kuò)展主題可以約束生成的結(jié)果偏向人們想要的歌詞，接著在主題模型的約束下用序列到序列的神經(jīng)網(wǎng)絡(luò)，用歌詞的上一句去生成下一句，如果是第一句，則用一個(gè)特殊的序列作為輸入去生成第一句歌詞，這樣循環(huán)生成歌詞的每一句。

　　下面也簡(jiǎn)介一下譜曲。為一首詞譜曲不單要考慮旋律是否好聽(tīng)，也要考慮曲與詞是否對(duì)應(yīng)。這類似于一個(gè)翻譯過(guò)程。不過(guò)這個(gè)翻譯中的對(duì)應(yīng)關(guān)系比自然語(yǔ)言翻譯更為嚴(yán)格。它需嚴(yán)格規(guī)定每一個(gè)音符對(duì)應(yīng)到歌詞中的每一個(gè)字。例如每一句有 N 個(gè)字，那么就需要將這句話對(duì)應(yīng)的曲切分成 N 個(gè)部分，然后順序完成對(duì)應(yīng)關(guān)系。這樣在“翻譯”過(guò)程中要“翻譯”出合理的曲譜，還要給出曲與詞之間的對(duì)應(yīng)關(guān)系。我們利用了一個(gè)改進(jìn)的序列到序列的神經(jīng)網(wǎng)絡(luò)模型，完成從歌詞“翻譯”到曲譜的生成過(guò)程。