西電NeurIPS 2022 | 基于結(jié)構(gòu)聚類的異質(zhì)圖自監(jiān)督學(xué)習(xí)

論文作者：楊亞明，管子玉，王哲，趙偉，徐偲，陸維港，黃健斌

論文單位：西安電子科技大學(xué)，計算機科學(xué)與技術(shù)學(xué)院

現(xiàn)階段，圖（Graph）上的自監(jiān)督學(xué)習(xí)大多都遵循圖對比學(xué)習(xí)框架，這些方法通常需要先構(gòu)造一系列的正樣本對以及負樣本對，然后通過在低維表示空間中拉近正樣本并且推遠負樣本來學(xué)習(xí)節(jié)點/圖的表示。目前，研究者們已經(jīng)探索了節(jié)點丟棄、連邊擾動等各種生成正樣本的策略，以及特征打亂、批次采樣等各種生成負樣本的策略。然而，已有研究工作表明，這些正、負樣本的生成策略是數(shù)據(jù)集敏感的。例如，GraphCL通過系統(tǒng)性的研究發(fā)現(xiàn)連邊擾動對社交網(wǎng)絡(luò)比較有益，但是對生物化學(xué)網(wǎng)絡(luò)可能有負面作用。

InfoGCL發(fā)現(xiàn)負樣本對于更稀疏的圖可能更有益。因此，在實踐中，研究者們需要根據(jù)數(shù)據(jù)集以及手頭任務(wù)的實際情況來探索、尋找合適的構(gòu)造正、負樣本的策略，這限制了已有方法的靈活性與泛化性。為了有效地應(yīng)對這個問題，在本項研究中，我們提出一個基于結(jié)構(gòu)聚類的異質(zhì)圖自監(jiān)督學(xué)習(xí)方法SHGP，它無需任何正樣本或者負樣本。

圖1 模型整體架構(gòu)圖。

我們的主要思路是通過對異質(zhì)圖執(zhí)行結(jié)構(gòu)聚類來產(chǎn)生聚類標簽，并利用聚類標簽來監(jiān)督異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。如圖1中的模型架構(gòu)圖所示，SHGP主要包括兩個模塊，Att-HGNN模塊可以被實現(xiàn)為任何基于注意力聚合機制的異質(zhì)圖神經(jīng)網(wǎng)絡(luò)（我們采用ie-HGCN模型，請參考原文https://mp.weixin.qq.com/s/oSWHzbpp54W9Ar_zE8ipjQ），它的作用是計算節(jié)點的表示：

Att-LPA模塊將經(jīng)典的標簽傳播算法LPA以及Att-HGNN中的注意力聚合機制進行了有機的結(jié)合，它的作用是在異質(zhì)圖上執(zhí)行結(jié)構(gòu)聚類，并將得到的聚類標簽當做偽標簽：

這兩個模塊共享相同的注意力聚合機制，即，Att-HGNN和Att-LPA在每一次前向過程中都執(zhí)行相同的注意力聚合，區(qū)別是Att-HGNN聚合的是（投影后的）特征，而Att-LPA聚合的是上一輪產(chǎn)生的偽標簽，兩者都有著完全相同的注意力聚合系數(shù)。我們在Att-HGNN的頂層構(gòu)建一個softmax分類器，并將節(jié)點表示輸入到其中來預(yù)測節(jié)點標簽。模型的損失為節(jié)點預(yù)測與節(jié)點偽標簽之間的交叉熵：

計算得到損失以后，我們利用梯度下降來優(yōu)化所有的模型參數(shù)：

隨著優(yōu)化過程的進行，模型會學(xué)習(xí)到越來越好的注意力分布（包括其他參數(shù)）。更好的注意力分布則會在下一輪迭代中促進Att-HGNN和Att-LPA分別產(chǎn)生更好的節(jié)點嵌入（以及預(yù)測）和偽標簽，進而促進模型學(xué)習(xí)得到更好的參數(shù)。這樣，兩個模塊可以緊密地相互作用，并相互增強對方，最終使得模型學(xué)習(xí)得到具有判別性的節(jié)點表示。

我們對節(jié)點的預(yù)訓(xùn)練表示進行聚類。在每個數(shù)據(jù)集上，我們利用

*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權(quán)請聯(lián)系工作人員刪除。