谷歌大腦，微軟探討了人工智能網(wǎng)絡(luò)的神秘面紗

　　我們生活在一個網(wǎng)絡(luò)時代。從Facebook的社交圖到身體中蛋白質(zhì)的相互作用，越來越多的世界被表現(xiàn)為網(wǎng)絡(luò)中的連接。

　　例如斯坦福大學(xué)的拉里佩奇和謝爾蓋布林首次建立網(wǎng)絡(luò)網(wǎng)絡(luò)，稱為“PageRank”，這是Google的基礎(chǔ)。

　　人工智能領(lǐng)域的一些重要人物一直在研究如何使機(jī)器學(xué)習(xí)技術(shù)更加智能地理解網(wǎng)絡(luò)。近日，來自微軟，谷歌的谷歌大腦部門，斯坦福大學(xué)，劍橋大學(xué)和蒙特利爾學(xué)習(xí)算法研究所的人工智能領(lǐng)域的一些報告稱其在使神經(jīng)網(wǎng)絡(luò)破譯Reddit等社交網(wǎng)絡(luò)的隱藏結(jié)構(gòu)方面取得了突破性進(jìn)展。

　　題為“ Deep Graph Infomax ”的論文由劍橋大學(xué)的主要作者，蒙特利爾學(xué)習(xí)算法研究所的Yoshua Bengio和William Hamilton，微軟的研究人員，谷歌的Google Brain部門和斯坦福大學(xué)撰寫。他們提出了一種破解網(wǎng)絡(luò)中看不見部分的新方法。

　　他們的發(fā)明，Deep Graph Infomax，分發(fā)有關(guān)整個社交網(wǎng)絡(luò)Reddit的全球信息，雖然不完整，但要弄清楚Reddit中較小的“本地”社區(qū)的細(xì)節(jié)，這是一種從大型圖片向小型線索反向工作的方式。

　　網(wǎng)絡(luò)可以是通過連接的任何事物，通過Reddit，Reddit成員的個人帖子含有轉(zhuǎn)到其他帖子的鏈接，帖子之間的連接網(wǎng)絡(luò)為每個帖子提供了上下文和含義，從而實(shí)現(xiàn)通過神經(jīng)網(wǎng)絡(luò)來預(yù)測Reddit網(wǎng)絡(luò)的“社區(qū)結(jié)構(gòu)”。

　　但是存在擴(kuò)展問題。在像Reddit這樣擁有數(shù)百萬個帖子的大型網(wǎng)絡(luò)中，不可能從一開始就收集所有帖子及其連接。這是Page和布林在90年代末建立Google時首先遇到的問題：PageRank必須映射所有網(wǎng)絡(luò)，而無法“看到”未知的網(wǎng)絡(luò)部分。

　　該解決方案涉及結(jié)合神經(jīng)網(wǎng)絡(luò)中的多個突破的阻力。

　　作者改編了微軟的R.Devon Hjelm的早期作品“Deep Infomax”。Hjelm的Deep Infomax試圖改善圖像識別，而不是對網(wǎng)絡(luò)的理解。通過在圖像的片段和這些圖像的高級“表示”之間共享信息，稱為“互信息”的過程，Deep Infomax能夠比其他圖像識別手段更好地執(zhí)行。

　　作者采用Deep Infomax方法并將其從圖像轉(zhuǎn)換為網(wǎng)絡(luò)表示。他們訓(xùn)練了一個卷積神經(jīng)網(wǎng)絡(luò)(CNN)來協(xié)調(diào)有關(guān)網(wǎng)絡(luò)拓?fù)涞囊恍〔糠謪^(qū)域的已知信息以及整個網(wǎng)絡(luò)的已知信息。通過這樣，他們重新創(chuàng)建了通常由人提供的“標(biāo)簽”來訓(xùn)練AI模型，在相互信息的使用基本上重新創(chuàng)建了標(biāo)簽通常提供給神經(jīng)網(wǎng)絡(luò)的“監(jiān)督”。

　　作者指出，Deep Graph Infomax能夠與其他程序競爭，以分析它以前從未見過的圖形，稱為歸納分析。雖然其他方法僅了解網(wǎng)絡(luò)的一部分的細(xì)節(jié)，但作者創(chuàng)建的模型中的每個“節(jié)點(diǎn)”都可以訪問網(wǎng)絡(luò)的整個圖的結(jié)構(gòu)屬性。

　　有趣的是，通過拋棄典型的網(wǎng)絡(luò)分析方法(稱為“隨機(jī)漫步”)，作者寫道他們的方法比其他分析更復(fù)雜。

　　“已知隨機(jī)游走物鏡以結(jié)構(gòu)信息為代價過度強(qiáng)調(diào)接近度信息。” 從這個意義上說，隨機(jī)游走有一種偏見，這是人工智能科學(xué)家想要消除的。

　　相比之下，Deep Graph Infomax使網(wǎng)絡(luò)中的每個節(jié)點(diǎn)都“注意到圖形的全局結(jié)構(gòu)特性”。

　　報告有一個更大的要點(diǎn)：神經(jīng)網(wǎng)絡(luò)可以將有關(guān)細(xì)節(jié)的信息與有關(guān)更大圖片的信息進(jìn)行匹配，可以實(shí)現(xiàn)更好的“表示”。表示意味著對主題具有更高級別的抽象。因此，這項工作有助于不斷追求讓AI更高層次的理解，而不僅僅是它所關(guān)注的相關(guān)性。