「超深度學(xué)習(xí)」創(chuàng)造新一代人工智能的核心理論
針對(duì)深度學(xué)習(xí)存在的上述問題,超深度學(xué)習(xí)一舉將深度學(xué)習(xí)所存在的所有問題全部給予解決。超深度學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)就是公式1所示的一個(gè)基于概率尺度的自組織的機(jī)器學(xué)習(xí)算法。
本文引用地址:http://m.butianyuan.cn/article/201902/397690.htm公式1
這里,給定一個(gè)屬于集合G的一組隨機(jī)分布的數(shù)值pi (i=1,2,…,m),某一集合Gn-1中必然存在一個(gè)最大概率值A(chǔ)n-1,以及可以標(biāo)定最大概率空間的尺度Mn-1,如果把最大概率空間看成是新的一集合Gn,就可以通過迭代,獲得最終可以超越統(tǒng)計(jì)學(xué)公式化的解,為了區(qū)別于傳統(tǒng)的統(tǒng)計(jì)學(xué)的結(jié)果,我們可以把An-1稱為最大幾率值,把Mn-1,稱為最大幾率空間的尺度。這就是概率尺度自組織的模型。
概率尺度自組織在圖像識(shí)別中,可以從一個(gè)小區(qū)域的若干個(gè)像素灰度值通過概率尺度自組織得到一個(gè)最大幾率值,用于表達(dá)該區(qū)域的圖像特征。概率尺度自組織還具有遷移特性,可以自律的朝著大概率的方向遷移,當(dāng)圖像移位時(shí)可以自動(dòng)的遷移,這是傳統(tǒng)模式識(shí)別所做不到的。
圖4是概率尺度自組織具有向大概率方向遷移的特性。 如圖4所示,概率尺度自組織在給定的任何地方,只要是初步滿足一定條件,通過迭代就可以自律的朝著大概率的方向遷移,中間遇到小概率的擾動(dòng),也可以跨越小概率的阻擋最終落在大概率的位置上。
圖4 概率尺度自組織具有向大概率方向遷移的特性示意圖
在自動(dòng)駕駛的車道線識(shí)別與障礙物的3D識(shí)別的應(yīng)用中,還可以驗(yàn)證概率尺度自組織可以無訓(xùn)練的將圖像中最大概率分布的目標(biāo)圖像直接識(shí)別出,還可以按照?qǐng)D像中的各個(gè)最大概率的分布狀態(tài)進(jìn)行特征抽出,可以得到結(jié)構(gòu)化的特征信息抽出結(jié)果,從而實(shí)現(xiàn)圖像理解的識(shí)別效果。
例如圖5所示進(jìn)行人臉識(shí)別時(shí)可以自動(dòng)的尋找到概率分布最集中的人的臉部。傳統(tǒng)的摸著石頭過河的程序搜索方法存在一個(gè)嚴(yán)重的問題是需要對(duì)人臉膚色的事先定義,這樣不同膚色在程序規(guī)則上就要調(diào)整,需要大量的程序進(jìn)行規(guī)則堆積,嚴(yán)重影響人臉識(shí)別精度的提高,采用概率尺度自組織按照人臉圖像的顏色分布,在整個(gè)圖像中是最大的概率,可以直接通過概率尺度自組織的遷移特性直接獲得人臉位置。
圖5 用概率尺度自組織的遷移特性獲得人臉位置示意圖
概率尺度自組織的遷移軌跡,以及最終的結(jié)果需要嚴(yán)格的對(duì)應(yīng)數(shù)據(jù)空間,用一維的概率尺度衡量二維空間的數(shù)據(jù)就會(huì)產(chǎn)生錯(cuò)誤的結(jié)果。另外概率尺度自組織的解也符合最佳化解的特性,遷移路徑與結(jié)果具有一定的邊界條件。
在模式識(shí)別中需要計(jì)算樣本數(shù)據(jù)與學(xué)習(xí)后登錄數(shù)據(jù)之間的距離,我們?cè)趯?shí)際大量應(yīng)用中所接觸的數(shù)據(jù)證明概率空間一定是存在于歐幾里得空間的,也就是說在歐幾里德空間存在著無數(shù)個(gè)概率空間,因此如何找到一個(gè)跨越歐幾里得空間與概率空間的距離是提高模式識(shí)別的關(guān)鍵。這里我們提出了公式2的概率空間的距離的定義方法,設(shè)是兩個(gè)集合的要素,分別是集合要素的復(fù)數(shù)個(gè)學(xué)習(xí)數(shù)據(jù),通過多次的概率尺度自組織機(jī)器學(xué)習(xí)所得到的最大幾率空間的尺度,則從 的概率空間到 (j=1,2,…,n)的概率空間的跨越歐幾里得空間與概率空間的距離G可定義如下:
公式2
公式2雖然是定義出來的,但是可以嚴(yán)格證明其正確性,因?yàn)楦怕士臻g是測(cè)度等于1的空間,在概率空間中的距離誤差是概率密度,也可以證明最大幾率空間尺度就是概率密度的近似值。
下面具體介紹超深度學(xué)習(xí)的架構(gòu),超深度學(xué)習(xí)與普通的深度學(xué)習(xí)最大的不同是,傳統(tǒng)的深度學(xué)習(xí)是通過層與層之間的復(fù)雜連接關(guān)系產(chǎn)生海量數(shù)據(jù),這種人為的將問題復(fù)雜化恐怕是典型學(xué)界的做法,這種做法可以引起眾多的學(xué)者們的興趣,是起到推動(dòng)人工智能在理論上的完善必不可少的過程,幾乎科學(xué)技術(shù)的發(fā)展都需要這個(gè)過程,當(dāng)發(fā)展到一定程度時(shí),必定有人出來從另一條路出發(fā)將多年積累的理論顛覆,產(chǎn)生可以實(shí)際應(yīng)用的新理論。人工智能也一定要走這一道路。超深度學(xué)習(xí)就是拋磚引玉引發(fā)新一代人工智能創(chuàng)出的理論之一,同深度學(xué)習(xí)不同的是超深度學(xué)習(xí)是概率模型,可直接對(duì)數(shù)據(jù)進(jìn)行概率尺度自組織機(jī)器學(xué)習(xí),可以定量的對(duì)輸入的隨機(jī)分布信息進(jìn)行分析,對(duì)數(shù)據(jù)進(jìn)行分類,沉淀深層信息,最終產(chǎn)生定量化的識(shí)別與分類,使傳統(tǒng)的系統(tǒng)只有通過實(shí)際數(shù)據(jù)的驗(yàn)證才可以知道識(shí)別精度與數(shù)據(jù)分類精度,成為識(shí)別結(jié)果的精度可計(jì)算性的系統(tǒng),從而使模式識(shí)別與數(shù)據(jù)分類進(jìn)入一個(gè)嶄新的時(shí)代。
超深度學(xué)習(xí)始終基于最大概率尺度的自組織,所以是一個(gè)新的無監(jiān)督學(xué)習(xí)模型,無需海量數(shù)據(jù)來承載目標(biāo)函數(shù)的信息,是對(duì)具有隨機(jī)特性的輸入數(shù)據(jù)的直接學(xué)習(xí),可以產(chǎn)生非常高效率的處理效果,無需巨大的硬件支持,一個(gè)最低的硬件配置就完全可以實(shí)現(xiàn)各種的人工智能的應(yīng)用,可做到的最佳分類,最佳的模式識(shí)別處理結(jié)果。
圖6 超深度學(xué)習(xí)架構(gòu)示意圖
超深度學(xué)習(xí)如圖6所示;超深度學(xué)習(xí)的每一個(gè)功能單元是由輸入層,腦神經(jīng)層,以及腦皮層組成的新型神經(jīng)網(wǎng)絡(luò)。在輸入層與腦神經(jīng)層之間的節(jié)點(diǎn)與節(jié)點(diǎn)之間直接連接著大量的概率尺度的自組織機(jī)器學(xué)習(xí),構(gòu)成了分散機(jī)器學(xué)習(xí)處理系統(tǒng)。
在超深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)的層數(shù)是與大腦一致,在圖像識(shí)別時(shí),提取的是圖像最大概率的特征值,判斷每一個(gè)特征值是否屬于某個(gè)已登陸的特征向量,是以最大幾率空間的尺度為依據(jù),相當(dāng)于最大幾率空間的尺度是一個(gè)神經(jīng)元的閥值,所對(duì)應(yīng)的腦神經(jīng)層的節(jié)點(diǎn)就產(chǎn)生一個(gè)腦神經(jīng)信號(hào)輸入到腦皮層,以最大幾率空間的尺度為基準(zhǔn)值刺激腦皮層,腦皮層被刺激的信號(hào)越多越興奮,依據(jù)腦皮層的興奮程度決定是否為目標(biāo)函數(shù)信息,這豈不是與大腦的機(jī)理非常接近嗎?最大幾率空間的尺度就相當(dāng)于腦神經(jīng)的閥值,并不是深度學(xué)習(xí)中人為定義的參數(shù),因此大腦機(jī)理應(yīng)該建立在概率空間的模型上,通過超深度學(xué)習(xí)的架構(gòu)終于搞清楚了,這也是通過算法仿真生物神經(jīng)的機(jī)理的一個(gè)重要的成果。
圖7 在如何深入上超深度學(xué)習(xí)與深度學(xué)習(xí)的比較
下面讀者會(huì)問超深度學(xué)習(xí)只有三層如何深入,當(dāng)今的潮流是大模型,大數(shù)據(jù),大硬件構(gòu)成的大系統(tǒng)是主流。如圖7所示;深度學(xué)習(xí)是靠大量的增加層數(shù),由于復(fù)雜度是指數(shù)性的,其結(jié)果使系統(tǒng)很快就超負(fù)荷了。超深度學(xué)習(xí)是按照導(dǎo)入解決復(fù)雜系統(tǒng)問題的空間映射原理,可以把任何的復(fù)雜系統(tǒng)的目標(biāo)函數(shù)映射到任意多的子空間,針對(duì)每一個(gè)子空間的目標(biāo)函數(shù)的信息用增加輸入層的節(jié)點(diǎn)的方法進(jìn)行深入,這使超深度學(xué)習(xí)可以把目標(biāo)函數(shù)的處理無限的深入下去,卻不增加系統(tǒng)的復(fù)雜度O(n2)。利用這個(gè)特點(diǎn)可以無限的增加特征數(shù)據(jù)集的規(guī)模,深度學(xué)習(xí)的數(shù)據(jù)集只能幾百萬個(gè),而超深度學(xué)習(xí)可以達(dá)到數(shù)萬以至數(shù)億個(gè)以上,隨著系統(tǒng)應(yīng)用的需要可以無限的增加機(jī)器學(xué)習(xí)的數(shù)量,可以預(yù)測(cè)今后的人工智能系統(tǒng)用的能力指標(biāo)將以有多少個(gè)機(jī)器學(xué)習(xí)來計(jì)算。50年來的計(jì)算機(jī)由簡(jiǎn)單的門電路組成發(fā)展至今原理沒有任何變化,使用的門電路的規(guī)模卻發(fā)生了巨大的變化,計(jì)算機(jī)的性能也出現(xiàn)了驚人的提高,相信未來的人工智能系統(tǒng)由眾多的機(jī)器學(xué)習(xí)組成的,其能力不管如何過高的估計(jì)也不會(huì)過分。
再有在目標(biāo)函數(shù)概率分布模型的優(yōu)勢(shì)上,通過小數(shù)據(jù)的訓(xùn)練可以獲得目標(biāo)函數(shù)的概率分布,可以相當(dāng)于無窮的函數(shù)映射的效果。這也是深度學(xué)習(xí)所望塵莫及的。由于超深度學(xué)習(xí)可以構(gòu)造比深度學(xué)習(xí)還大規(guī)模的分散機(jī)器學(xué)習(xí)模型,可以通過小數(shù)據(jù)的訓(xùn)練獲得超過深度學(xué)習(xí)的還要大規(guī)模的特征數(shù)據(jù)集,以及無限多的機(jī)器學(xué)習(xí)所構(gòu)成的大的分散處理硬件系統(tǒng),因此超深度學(xué)習(xí)更加適應(yīng)時(shí)代潮流。
將任意一個(gè)圖像通過手機(jī)拍照后,通過超深度學(xué)習(xí)變換成一個(gè)
1036的代碼,導(dǎo)入了超深度學(xué)習(xí)無需通過噴印標(biāo)記的方式構(gòu)成光學(xué)可讀性二維碼,而是靠圖像的灰度的自然分布,自組織成一個(gè)二維碼,也就是說可以通過手機(jī)拍攝商品標(biāo)識(shí),直接生成一個(gè)可以連接網(wǎng)絡(luò)的二維碼,讓全世界的商品一夜之間就可連接網(wǎng)絡(luò)。
超深度學(xué)習(xí)的實(shí)際應(yīng)用的例子之一是如圖8所示;
圖8超深度學(xué)習(xí)實(shí)現(xiàn)圖像變換代碼的例子
超深度學(xué)習(xí)的圖像直接生成代碼,是對(duì)市場(chǎng)流行的開源程序AR圖像識(shí)別技術(shù)的顛覆,AR技術(shù)是通過傳統(tǒng)的圖像輪廓識(shí)別,產(chǎn)生一個(gè)將近10兆字節(jié)識(shí)別結(jié)果的文件,由于識(shí)別結(jié)果所占用的容量,遠(yuǎn)比圖像本身的容量要大,所以一般識(shí)別引擎是放到網(wǎng)絡(luò)服務(wù)器上,用手機(jī)將被識(shí)別的圖像送到網(wǎng)上,網(wǎng)絡(luò)服務(wù)器識(shí)別圖像后將網(wǎng)絡(luò)下載的結(jié)果送回手機(jī),這樣的應(yīng)用如果網(wǎng)絡(luò)環(huán)境差,就得不到很好的用戶體驗(yàn)。超深度學(xué)習(xí)克服了由于手機(jī)在不同情況下拍攝的圖像所產(chǎn)生的非常大的隨機(jī)分布信息,通過概率尺度的自組織變換成一個(gè)穩(wěn)定的代碼,這個(gè)代碼不到十個(gè)字節(jié),可以把識(shí)別引擎放到手機(jī)上做在線圖像變換代碼的應(yīng)用。
超深度學(xué)習(xí)與深度學(xué)習(xí)在機(jī)理上的比較表1.
超深度學(xué)習(xí)與普通的深度學(xué)習(xí)的對(duì)比如表1所示;首先從方法上進(jìn)行比較:
深度學(xué)習(xí)是在歐幾里得空間里訓(xùn)練出海量的參數(shù),用海量的參數(shù)承載目標(biāo)函數(shù)的信息,超深度學(xué)習(xí)是直接針對(duì)輸入的隨機(jī)分布數(shù)據(jù)進(jìn)行概率空間的自組織機(jī)器學(xué)習(xí),將隨機(jī)分布的數(shù)據(jù)進(jìn)行去偽存真的處理,得出定量的并且穩(wěn)定的最大概率的解,以及可以提煉出深層的信息。
在前面已經(jīng)討論了,深度學(xué)習(xí)是將目標(biāo)函數(shù)映射到數(shù)據(jù)集的模型,因此面對(duì)具有隨機(jī)特性的數(shù)據(jù),需要數(shù)百萬次的訓(xùn)練,需要付出巨大的數(shù)據(jù)標(biāo)注費(fèi)用。超深度學(xué)習(xí)是概率模型,通過概率分布信息可以將小數(shù)據(jù)的訓(xùn)練生成具有無限映射效果的概率分布。
在計(jì)算復(fù)雜度上兩種模型具有截然不同的區(qū)別,因此在硬件開銷上差距很大,在相同硬件環(huán)境下,超深度學(xué)習(xí)具有超越深度學(xué)習(xí)的應(yīng)用效果是不可置疑的。
深度學(xué)習(xí)是把概率空間的數(shù)據(jù)映射到歐幾里得空間的,所以要對(duì)概率空間的隨機(jī)數(shù)據(jù)進(jìn)行全部的訓(xùn)練,致使應(yīng)用成本巨大不易普及。
特別是深度學(xué)習(xí)的應(yīng)用效果是靠數(shù)據(jù)集的規(guī)模所產(chǎn)生的,超深度學(xué)習(xí)不僅在概率模型上優(yōu)于深度學(xué)習(xí),在特征集的規(guī)模上同樣可以超越深度學(xué)習(xí)的數(shù)據(jù)規(guī)模,因此超深度學(xué)習(xí)在應(yīng)用效果上超越深度學(xué)習(xí)是名副其實(shí)的。
超深度學(xué)習(xí)與深度學(xué)習(xí)在應(yīng)用效果上的比較表2.
如表2所示;在神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)上深度學(xué)習(xí)是數(shù)十層乃至數(shù)百層,這樣就使問題的復(fù)雜度急劇擴(kuò)大,造成組合的空間無窮的大,導(dǎo)致不可能得到最佳組合的解,因此出現(xiàn)黑箱問題等,超深度學(xué)習(xí)同大腦的構(gòu)造近似,只有輸入層,腦神經(jīng)層,以及腦皮層三層,而且數(shù)學(xué)模型很接近大腦的機(jī)理,證明超深度學(xué)習(xí)符合大腦的機(jī)理。
再有,在模型能力擴(kuò)大的方法上深度學(xué)習(xí)是靠增加隱藏層的數(shù)量來實(shí)現(xiàn)的!超深度學(xué)習(xí)是靠增加輸入層的節(jié)點(diǎn)的個(gè)數(shù),通過將復(fù)雜系統(tǒng)空間的映射,把目標(biāo)函數(shù)變換成若干子空間,并把子空間的特征分量對(duì)應(yīng)輸入層的各個(gè)節(jié)點(diǎn),通過擴(kuò)大節(jié)點(diǎn)的個(gè)數(shù)達(dá)到深入學(xué)習(xí)的目的。
下面準(zhǔn)備介紹一下我和我的團(tuán)隊(duì)正在進(jìn)行的超深度學(xué)習(xí)視覺芯片的開發(fā)情況。
圖9是超深度學(xué)習(xí)視覺芯片的構(gòu)成,這個(gè)項(xiàng)目是同由日立,NEC以及三菱電機(jī),三個(gè)公司的半導(dǎo)體事業(yè)部剝離組建的日本最大的芯片公司RENESAS公司聯(lián)合開發(fā)的,采用硬件加軟件的形式。對(duì)于非常占用處理時(shí)間的顏色變換,以及為盡可能獲取圖像的本來信息,針對(duì)圖像的空間映射等采用硬件處理,算法用軟件處理。超深度學(xué)習(xí)獨(dú)特的兩種對(duì)抗學(xué)習(xí)以及無監(jiān)督學(xué)習(xí)的算法均在這一款芯片里搭載,因此,可以使這一芯片在圖像感知方面做到傳統(tǒng)的算法無可比擬的天衣無縫的精度與應(yīng)用效果。
圖9超深度學(xué)習(xí)視覺芯片的構(gòu)成
我們的超深度學(xué)習(xí)的研發(fā)戰(zhàn)略是,首先從算法上布局,既然已經(jīng)證實(shí),導(dǎo)入超深度學(xué)習(xí)可以顛覆傳統(tǒng)的統(tǒng)計(jì)學(xué)的兩大參數(shù),那么與這兩大參數(shù)有關(guān)的相關(guān)分析,回歸分析等等大量的統(tǒng)計(jì)學(xué)的數(shù)學(xué)模型,將成為超深度學(xué)習(xí)的重要架構(gòu),這些成果可以分別通過論文的形式發(fā)表。同時(shí)將深度學(xué)習(xí)理論作為一個(gè)鏡子,逐一的將深度學(xué)習(xí)的一些特殊的算法在超深度學(xué)習(xí)上實(shí)現(xiàn),在應(yīng)用上從圖像感知,語音感知到預(yù)測(cè)推論等的應(yīng)用可視化,在推廣上從提供SDK程序,SDL應(yīng)用電路板,SDL芯片以及開源平臺(tái),聯(lián)合開發(fā)等等分別進(jìn)行,我們是原創(chuàng)單位因此不同我們的用戶競(jìng)爭(zhēng),我們的角色是技術(shù)提供與服務(wù),以及基礎(chǔ)性開發(fā),因此不獨(dú)立的進(jìn)行具體項(xiàng)目的開發(fā),可以為從事AI事業(yè)的創(chuàng)業(yè)公司進(jìn)行技術(shù)合作以及技術(shù)入股。
作為我們奉獻(xiàn)社會(huì)的超深度學(xué)習(xí),由于不是通過組合方式訓(xùn)練海量的參數(shù)的,是直接對(duì)隨機(jī)分量的數(shù)據(jù)進(jìn)行概率自組織的學(xué)習(xí),因此不存在黑箱問題。而且,最大的特點(diǎn)是硬件要求門檻極低,普通一個(gè)芯片,任何一個(gè)移動(dòng)終端都可以立即應(yīng)用。超深度學(xué)習(xí)的基礎(chǔ)理論概念清楚,算法簡(jiǎn)單易懂,是可以大量普及的一個(gè)為大眾服務(wù)的AI算法。人工智能是國家戰(zhàn)略,自動(dòng)駕駛汽車是反映人工智能的國家水平的標(biāo)準(zhǔn)。為了證明超深度學(xué)習(xí)的能力,我們?cè)谏鐣?huì)的廣泛支持下,正在自動(dòng)駕駛汽車的開發(fā)上驗(yàn)證超深度學(xué)習(xí)的應(yīng)用效果。目前所有的自動(dòng)駕駛研發(fā)團(tuán)隊(duì),都因?yàn)榭刂七^于復(fù)雜沒有現(xiàn)成的人工智能模型的支持,而處于停滯不前的現(xiàn)狀。我們寄托超深度學(xué)習(xí)可以沖破自動(dòng)駕駛的難關(guān),使L4級(jí)別的自動(dòng)駕駛不再是偽命題。
我是中國人,我愿意將我發(fā)明的超深度學(xué)習(xí)在中國產(chǎn)業(yè)化,為中國及世界的人工智能發(fā)展服務(wù)。我現(xiàn)在是中國軟件行業(yè)協(xié)會(huì)嵌入式系統(tǒng)分會(huì)和中國嵌入式系統(tǒng)產(chǎn)業(yè)聯(lián)盟的理事、擔(dān)任著中國嵌入式系統(tǒng)產(chǎn)業(yè)聯(lián)盟新一代人工智能專業(yè)委員會(huì)主任職務(wù)。為促進(jìn)超深度學(xué)習(xí)在中國的產(chǎn)業(yè)化,我已將超深度學(xué)習(xí)的宣傳和產(chǎn)業(yè)化的代理授權(quán)給中國嵌入式系統(tǒng)產(chǎn)業(yè)聯(lián)盟的負(fù)責(zé)人。希望通過中國嵌入式系統(tǒng)產(chǎn)業(yè)聯(lián)盟的積極組織,加快進(jìn)行超深度學(xué)習(xí)的產(chǎn)業(yè)化工作。我衷心的希望國家有關(guān)部門和相關(guān)的企事業(yè)單位大力支持超深度學(xué)習(xí)的產(chǎn)業(yè)化。歡迎從事人工智能的研究和應(yīng)用的單位及專家、學(xué)者、技術(shù)人員加入到超深度學(xué)習(xí)的研究與推廣隊(duì)伍中來,共同為早日實(shí)現(xiàn)超深度學(xué)習(xí)的產(chǎn)業(yè)化做努力!
評(píng)論