Google的設(shè)備上文本分類AI的準(zhǔn)確率達(dá)到86.7％

　　深度神經(jīng)網(wǎng)絡(luò) - 模仿人類大腦中神經(jīng)元行為的數(shù)學(xué)函數(shù)層 - 是最先進(jìn)的機(jī)器翻譯和異議識(shí)別系統(tǒng)的核心。它們有助于將一種語言翻譯成另一種語言并從名片中提取地址。問題是，它們經(jīng)常受到智能手機(jī)，可穿戴設(shè)備和其他移動(dòng)設(shè)備的硬件限制 - 特別是在內(nèi)存和計(jì)算方面。

　　不過，對(duì)于高性能的離線算法還有希望。在本周于比利時(shí)布魯塞爾舉行的自然語言處理經(jīng)驗(yàn)方法會(huì)議上發(fā)表的一篇論文中，谷歌研究人員描述了離線的設(shè)備上AI系統(tǒng) - 自我管理神經(jīng)網(wǎng)絡(luò)(SGNN) - 它們實(shí)現(xiàn)了空中狀態(tài)導(dǎo)致特定的對(duì)話框相關(guān)任務(wù)。

　　“在設(shè)備上開發(fā)和部署深度神經(jīng)網(wǎng)絡(luò)模型的主要挑戰(zhàn)是：(1)微小的內(nèi)存占用，(2)推理延遲和(3)與高性能計(jì)算系統(tǒng)(如CPU，GPU)相比顯著低的計(jì)算容量和云上的TPU，“該團(tuán)隊(duì)寫道?！癧SGGNs]允許我們?cè)谠O(shè)備上以非?？斓乃俣扔?jì)算傳入文本的投影，因?yàn)槲覀儾恍枰鎯?chǔ)傳入的文本和字嵌入?！?/p>

　　正如該論文的作者所解釋的那樣，有許多方法可以設(shè)計(jì)一個(gè)輕量級(jí)的設(shè)備上文本分類模型，比如將模型與圖形學(xué)習(xí)相結(jié)合，這就是谷歌智能回復(fù)中使用的模型， 并自動(dòng)生成簡(jiǎn)短的電子郵件回復(fù)。但大多數(shù)要么不能很好地?cái)U(kuò)展，要么導(dǎo)致大型模型。

　　相比之下，SGGN采用了局部敏感散列(LSH)的修改版本，這種技術(shù)通過散列或映射輸入項(xiàng)來減少數(shù)據(jù)中的維數(shù)，以便類似的項(xiàng)以高概率映射到相同的“桶”。顧名思義，它是自我控制的 - 它可以通過動(dòng)態(tài)地將輸入轉(zhuǎn)換為具有投影函數(shù)的低維表示來學(xué)習(xí)模型而無需初始化，加載或存儲(chǔ)任何特征。此外，在對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，它學(xué)會(huì)選擇并應(yīng)用對(duì)給定任務(wù)更具預(yù)測(cè)性的特定操作。

　　該團(tuán)隊(duì)寫道，這減少了數(shù)百萬個(gè)獨(dú)特單詞的輸入維度，縮短了固定長(zhǎng)度的短序列，并且無需存儲(chǔ)文本和單詞嵌入(代表單詞和短語的向量)。在實(shí)驗(yàn)中，與存儲(chǔ)要求超過數(shù)十萬維的字嵌入方法相比，SGGN使用固定的1120維向量，而不管輸入數(shù)據(jù)的詞匯表或特征大小。

　　研究人員使用兩個(gè)對(duì)話行為基準(zhǔn)數(shù)據(jù)集來評(píng)估SGGN：交換機(jī)對(duì)話法案語料庫(SWDA)，其中包含兩個(gè)發(fā)言人和42個(gè)對(duì)話行為，以及ICSI會(huì)議記錄器對(duì)話法案語料庫，一個(gè)多方會(huì)議的對(duì)話語料庫。

　　沒有預(yù)處理，標(biāo)記，解析或預(yù)訓(xùn)練嵌入，SGGN的表現(xiàn)優(yōu)于基線AI系統(tǒng)12%至35%。通過SWDA和MRDA數(shù)據(jù)集，它實(shí)現(xiàn)了83.1%的準(zhǔn)確率和86.7%的準(zhǔn)確度 - 高于基準(zhǔn) - 針對(duì)尖端卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò) - 并且日本的準(zhǔn)確度達(dá)到73%，接近最佳性能系統(tǒng)。

　　在未來的工作中，研究人員計(jì)劃調(diào)查SGGN在其他自然語言任務(wù)中的使用。

　　“我們的研究還表明，與更復(fù)雜的神經(jīng)網(wǎng)絡(luò)架構(gòu)相比，所提出的方法對(duì)于這種自然語言任務(wù)非常有效，例如深CNN和RNN變體，”研究人員寫道?！拔覀兿嘈艍嚎s技術(shù)，如與非線性函數(shù)結(jié)合的局部敏感投影，可有效捕獲對(duì)文本分類應(yīng)用有用的低維語義文本表示?！?/p>

　　近年來，邊緣人工智能系統(tǒng)取得了突飛猛進(jìn)的發(fā)展。

　　9月，都柏林創(chuàng)業(yè)公司 Voysis 宣布推出基于WaveNet的技術(shù)，該技術(shù)不僅可以在線下運(yùn)行，還可以在智能手機(jī)和其他帶有移動(dòng)處理器的設(shè)備上運(yùn)行。8月，Google的研究人員開發(fā)了具有記錄面部識(shí)別和物體檢測(cè)速度的離線AI。5月份，高通聲稱其設(shè)備上的語音識(shí)別系統(tǒng)準(zhǔn)確率達(dá)到了95%。