低功耗生成式AI必然會出現(xiàn)

5月12日我們在朋友圈里發(fā)表了“論中美在人工智能領(lǐng)域的差距”的評論中我們首次提出目前以Transformer算法為核心的自然語言處理的生成式AI，在取得突破性的應(yīng)用成果的同時，由于Transformer算法沒有擺脫人工神經(jīng)網(wǎng)絡(luò)的圖靈機(jī)不可解的NP問題的綁架，因此超大模型的計算引起了能源的危機(jī)的社會的熱議。針對注意力機(jī)制的計算，巨大的矩陣乘法不是唯一的解，因此可以通過邏輯推理模型可以線性的求解，通過低能耗就可實(shí)現(xiàn)目前的生成式AI的應(yīng)用效果。

果不其然來自加州大學(xué)圣克魯茲分校等機(jī)構(gòu)的研究者證明了 “MatMul 操作可以完全從 LLM 中消除，同時在十億參數(shù)尺度下保持強(qiáng)大的性能?！?/p>

這給還在追求大模型的生成式AI的研究者一個啟示，不能盲目的照抄，跟隨的結(jié)果只能證明自己的愚昧！要有敢于同被世界關(guān)注的算法對抗的意識！要善于走自己的路，才會有深刻的造詣！

附：

中美人工智能領(lǐng)域的差距實(shí)際有多大？

中國嵌入式系統(tǒng)產(chǎn)業(yè)聯(lián)盟

通用人工智能AGI專委會

主任顧澤蒼 于5月12日

從現(xiàn)在開始我想聊一聊大家最關(guān)心的這個題目。

談到中美兩國在AI領(lǐng)域的差距時我想絕大多數(shù)人都會認(rèn)為我們一定是落后于美國。這種觀念是無可非議的。從本次AI高潮主流算法的深度學(xué)習(xí)模型就是美國的，當(dāng)今的基礎(chǔ)大模型的發(fā)展來看，確實(shí)也是美國遙遙領(lǐng)先。

在這種情況下我國的研究人員感到無能為力！那么必定我國的AI就一定趕不上美國嗎？

我認(rèn)為要趕上美國首先就要調(diào)整我們的創(chuàng)造意識！AI的思路被美國牽引著，跟隨美國的AI模型的發(fā)展，我們就不可能超越美國！

比如深度學(xué)習(xí)模型，依靠深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，可以提高識別精度，這已經(jīng)被業(yè)界認(rèn)可了。但是，深度神經(jīng)網(wǎng)絡(luò)的效率極低，無功消耗極大！這種模型出自于連接主義的神經(jīng)網(wǎng)絡(luò)學(xué)派，是被數(shù)學(xué)上的NP問題所綁架。

事實(shí)上應(yīng)用效果的好壞與網(wǎng)絡(luò)連接的規(guī)模無關(guān)。

無需復(fù)雜鏈接，依靠高智慧密度的訓(xùn)練數(shù)據(jù)，依靠把握被識別對象的真實(shí)的物理世界的全貌，依靠核函數(shù)的高維平面分類，依靠概率尺度自組織可對被識別的數(shù)據(jù)的進(jìn)行最大概率的選擇，可以做到如同人類識別物體那樣一回生二回熟越識別精度越高。這樣的屬于AGI時代的自動機(jī)器學(xué)習(xí)模型自然會遙遙領(lǐng)先于目前的深度學(xué)習(xí)模型的。

那么目前流行的生成式AI一定要消耗巨大的能源嗎？其實(shí)，從理論上講根本不需要!

還在被機(jī)器學(xué)習(xí)模型束縛的Transformer算法，在NLP上比起把類似的單詞捆綁在一起通過深度學(xué)習(xí)訓(xùn)練出詞向量的算法相比具有突破性的進(jìn)步。但是，NLP的處理不像模式識別那樣需要具有很好的泛化能力，從網(wǎng)絡(luò)上訓(xùn)練的相同語意的單詞的頻率的大小是相對確定性的，語言的語法關(guān)系也是相對確定性的，因此不需要做到模式識別所需要的泛化能力。特別是在兩個矩陣的之間注意力機(jī)制的計算通過矩陣乘法才能獲得，這是很笨的方法。生成式AI的效果完全取決于所訓(xùn)練出的語言數(shù)據(jù)的參數(shù)的多少！因此回避復(fù)雜連接的神經(jīng)網(wǎng)絡(luò)，使用低能耗的邏輯推理模型照樣可以訓(xùn)練出超越傳統(tǒng)生成式AI的數(shù)據(jù)參數(shù)的數(shù)量，一定可以獲得接近人的大腦的功耗，而超越大模型的生成式AI的效果！從生成式AI的機(jī)理上搞清楚了就一定可以成功的。

僅舉如上的兩個例子足以說明，只要我們改變思路就一定可以超越美國的AI水平。

特別是神經(jīng)網(wǎng)絡(luò)學(xué)派堅(jiān)持復(fù)雜連接，這是愚蠢的違背科學(xué)的，必然走不下去的，美國推崇的生成式AI僅僅一個自然語言的應(yīng)用就出現(xiàn)能源危機(jī)，這是違背科學(xué)的結(jié)果。我們只要堅(jiān)持科學(xué)的方法論，悶頭走自己的路，當(dāng)美國的AI領(lǐng)域研究者發(fā)現(xiàn)自己走不下去的時候，我們已經(jīng)在AGI的時代里奮勇直前。