Google的設(shè)備上文本分類AI的準確率達到86.7％

　　深度神經(jīng)網(wǎng)絡(luò) - 模仿人類大腦中神經(jīng)元行為的數(shù)學函數(shù)層 - 是最先進的機器翻譯和異議識別系統(tǒng)的核心。它們有助于將一種語言翻譯成另一種語言并從名片中提取地址。問題是，它們經(jīng)常受到智能手機，可穿戴設(shè)備和其他移動設(shè)備的硬件限制 - 特別是在內(nèi)存和計算方面。

　　不過，對于高性能的離線算法還有希望。在本周于比利時布魯塞爾舉行的自然語言處理經(jīng)驗方法會議上發(fā)表的一篇論文中，谷歌研究人員描述了離線的設(shè)備上AI系統(tǒng) - 自我管理神經(jīng)網(wǎng)絡(luò)(SGNN) - 它們實現(xiàn)了空中狀態(tài)導致特定的對話框相關(guān)任務(wù)。

　　“在設(shè)備上開發(fā)和部署深度神經(jīng)網(wǎng)絡(luò)模型的主要挑戰(zhàn)是：(1)微小的內(nèi)存占用，(2)推理延遲和(3)與高性能計算系統(tǒng)(如CPU，GPU)相比顯著低的計算容量和云上的TPU，“該團隊寫道?！癧SGGNs]允許我們在設(shè)備上以非?？斓乃俣扔嬎銈魅胛谋镜耐队埃驗槲覀儾恍枰鎯魅氲奈谋竞妥智度??！?/p>

　　正如該論文的作者所解釋的那樣，有許多方法可以設(shè)計一個輕量級的設(shè)備上文本分類模型，比如將模型與圖形學習相結(jié)合，這就是谷歌智能回復中使用的模型， 并自動生成簡短的電子郵件回復。但大多數(shù)要么不能很好地擴展，要么導致大型模型。

　　相比之下，SGGN采用了局部敏感散列(LSH)的修改版本，這種技術(shù)通過散列或映射輸入項來減少數(shù)據(jù)中的維數(shù)，以便類似的項以高概率映射到相同的“桶”。顧名思義，它是自我控制的 - 它可以通過動態(tài)地將輸入轉(zhuǎn)換為具有投影函數(shù)的低維表示來學習模型而無需初始化，加載或存儲任何特征。此外，在對數(shù)據(jù)進行訓練時，它學會選擇并應(yīng)用對給定任務(wù)更具預測性的特定操作。

　　該團隊寫道，這減少了數(shù)百萬個獨特單詞的輸入維度，縮短了固定長度的短序列，并且無需存儲文本和單詞嵌入(代表單詞和短語的向量)。在實驗中，與存儲要求超過數(shù)十萬維的字嵌入方法相比，SGGN使用固定的1120維向量，而不管輸入數(shù)據(jù)的詞匯表或特征大小。

　　研究人員使用兩個對話行為基準數(shù)據(jù)集來評估SGGN：交換機對話法案語料庫(SWDA)，其中包含兩個發(fā)言人和42個對話行為，以及ICSI會議記錄器對話法案語料庫，一個多方會議的對話語料庫。

　　沒有預處理，標記，解析或預訓練嵌入，SGGN的表現(xiàn)優(yōu)于基線AI系統(tǒng)12%至35%。通過SWDA和MRDA數(shù)據(jù)集，它實現(xiàn)了83.1%的準確率和86.7%的準確度 - 高于基準 - 針對尖端卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò) - 并且日本的準確度達到73%，接近最佳性能系統(tǒng)。

　　在未來的工作中，研究人員計劃調(diào)查SGGN在其他自然語言任務(wù)中的使用。

　　“我們的研究還表明，與更復雜的神經(jīng)網(wǎng)絡(luò)架構(gòu)相比，所提出的方法對于這種自然語言任務(wù)非常有效，例如深CNN和RNN變體，”研究人員寫道。“我們相信壓縮技術(shù)，如與非線性函數(shù)結(jié)合的局部敏感投影，可有效捕獲對文本分類應(yīng)用有用的低維語義文本表示?！?/p>

　　近年來，邊緣人工智能系統(tǒng)取得了突飛猛進的發(fā)展。

　　9月，都柏林創(chuàng)業(yè)公司 Voysis 宣布推出基于WaveNet的技術(shù)，該技術(shù)不僅可以在線下運行，還可以在智能手機和其他帶有移動處理器的設(shè)備上運行。8月，Google的研究人員開發(fā)了具有記錄面部識別和物體檢測速度的離線AI。5月份，高通聲稱其設(shè)備上的語音識別系統(tǒng)準確率達到了95%。