導(dǎo)讀:在 NeurIPS 2020 上,清華大學(xué)聯(lián)合微眾銀行、微軟研究院以及博世人工智能中心提出了 Graph Random Neural Network (GRAND),一種用于圖半監(jiān)督學(xué)習(xí)的新型圖神經(jīng)網(wǎng)絡(luò)框架。在模型架構(gòu)上,GRAND 提出了一種簡(jiǎn)單有效的圖數(shù)據(jù)增強(qiáng)方法 Random Propagation,用來(lái)增強(qiáng)模型魯棒性及減輕過(guò)平滑。基于 Random Propagation,GRAND 在優(yōu)化過(guò)程中使用一致性正則(Consistency Regularization)來(lái)增強(qiáng)模型的泛化性,即除了優(yōu)化標(biāo)簽節(jié)點(diǎn)的 cross-entropy loss 之外,還會(huì)優(yōu)化模型在無(wú)標(biāo)簽節(jié)點(diǎn)的多次數(shù)據(jù)增強(qiáng)的預(yù)測(cè)一致性。GRAND 不僅在理論上有良好的解釋,還在三個(gè)公開(kāi)數(shù)據(jù)集上超越了 14 種不同的 GNN 模型,取得了 SOTA 的效果。

這項(xiàng)研究被收入為 NeurIPS 2020 的 Oral paper (105/9454)。

論文名稱:GraphRandom Neural Network for Semi-Supervised Learning on Graphs

研究背景

圖是用于建模結(jié)構(gòu)化和關(guān)系數(shù)據(jù)的一種通用的數(shù)據(jù)結(jié)構(gòu)。在這項(xiàng)工作中,我們重點(diǎn)研究基于圖的半監(jiān)督學(xué)習(xí)問(wèn)題,這個(gè)問(wèn)題的輸入是一個(gè)節(jié)點(diǎn)帶屬性的無(wú)向圖,其中只有一小部分節(jié)點(diǎn)有標(biāo)簽,我們的目的是要根據(jù)節(jié)點(diǎn)屬性,圖的結(jié)構(gòu)去預(yù)測(cè)無(wú)標(biāo)簽節(jié)點(diǎn)的標(biāo)簽。近幾年來(lái),解決這個(gè)問(wèn)題一類(lèi)有效的方法是以圖卷積神經(jīng)網(wǎng)絡(luò)(GCN)[1]為代表的圖神經(jīng)網(wǎng)絡(luò)模型(GNN)。其主要思想是通過(guò)一個(gè)確定性的特征傳播來(lái)聚合鄰居節(jié)點(diǎn)的信息,以此來(lái)達(dá)到對(duì)特征降噪的目的。

但是,最近的研究表明,這種傳播過(guò)程會(huì)帶來(lái)一些固有的問(wèn)題,例如:

1) 過(guò)平滑,圖卷積可以看做是一種特殊形式的拉普拉斯平滑,疊加多層之后節(jié)點(diǎn)之間的feature就會(huì)變得不可區(qū)分。

2)欠魯棒,GNN中的特征傳播會(huì)使得節(jié)點(diǎn)的預(yù)測(cè)嚴(yán)重依賴于特定的鄰居節(jié)點(diǎn),這樣的模型對(duì)噪音的容忍度會(huì)很差,例如KDD’18的best paper[2]就表明我們甚至可以通過(guò)間接攻擊的方式通過(guò)改變目標(biāo)節(jié)點(diǎn)鄰居的屬性來(lái)達(dá)到攻擊目標(biāo)節(jié)點(diǎn)的目的。

3)過(guò)擬合,在半監(jiān)督節(jié)點(diǎn)分類(lèi)的任務(wù)中,有標(biāo)簽的節(jié)點(diǎn)很少,而一般GNN僅僅依靠這些少量的監(jiān)督信息做訓(xùn)練,這樣訓(xùn)練出來(lái)的模型泛化能力會(huì)比較差。

模型介紹

為了解決這些問(wèn)題,在這個(gè)工作中我們提出了圖隨機(jī)神經(jīng)網(wǎng)絡(luò)(GRAND),一種簡(jiǎn)單有效的圖半監(jiān)督學(xué)習(xí)方法。與傳統(tǒng)GNN不同,GRAND采用隨機(jī)傳播(Random Propagation)策略。具體來(lái)說(shuō),我們首先隨機(jī)丟棄一些節(jié)點(diǎn)的屬性對(duì)節(jié)點(diǎn)特征做一個(gè)隨機(jī)擾動(dòng),然后對(duì)擾動(dòng)后的節(jié)點(diǎn)特征做一個(gè)高階傳播。這樣一來(lái),每個(gè)節(jié)點(diǎn)的特征就會(huì)隨機(jī)地與其高階鄰居的特征進(jìn)交互,這種策略會(huì)降低節(jié)點(diǎn)對(duì)某些特定節(jié)點(diǎn)的依賴,提升模型的魯棒性。

除此之外,在同質(zhì)圖中,相鄰的節(jié)點(diǎn)往往具有相似的特征及標(biāo)簽,這樣節(jié)點(diǎn)丟棄的信息就可以被其鄰居的信息補(bǔ)償過(guò)來(lái)。因此這樣形成的節(jié)點(diǎn)特征就可以看成是一種針對(duì)圖數(shù)據(jù)的數(shù)據(jù)增強(qiáng)方法�；�于這種傳播方法,我們進(jìn)而設(shè)計(jì)了基于一致性正則(consistency regularization)的訓(xùn)練方法,即每次訓(xùn)練時(shí)進(jìn)行多次Random Propagation 生成多個(gè)不同的節(jié)點(diǎn)增強(qiáng)表示,然后將這些增強(qiáng)表示輸入到一個(gè)MLP中,除了優(yōu)化交叉熵?fù)p失之外,我們還會(huì)去優(yōu)化MLP模型對(duì)多個(gè)數(shù)據(jù)增強(qiáng)產(chǎn)生預(yù)測(cè)結(jié)果的一致性。這種一致性正則損失無(wú)需標(biāo)簽,可以使模型利用充足的無(wú)標(biāo)簽數(shù)據(jù),以彌補(bǔ)半監(jiān)督任務(wù)中監(jiān)督信息少的不足,提升模型的泛化能力,減小過(guò)擬合的風(fēng)險(xiǎn)。

圖一

圖二

我們對(duì)GRAND進(jìn)行了理論分析,分析結(jié)果表明,這種Random propagation + Consistency Regularization 的訓(xùn)練方式實(shí)際上是在優(yōu)化模型對(duì)節(jié)點(diǎn)與其鄰居節(jié)點(diǎn)預(yù)測(cè)置信度之間的一致性。

實(shí)驗(yàn)結(jié)果

我們?cè)贕NN基準(zhǔn)數(shù)據(jù)集中的實(shí)驗(yàn)結(jié)果對(duì)GRAND進(jìn)行了評(píng)測(cè),實(shí)驗(yàn)結(jié)果顯示GRAND在3個(gè)公開(kāi)數(shù)據(jù)集中顯著超越了14種不同種類(lèi)的GNN模型,取得了SOTA的效果。實(shí)驗(yàn)結(jié)果(圖三):

圖三

此外我們還對(duì)模型泛化性,魯棒性,過(guò)平滑等問(wèn)題進(jìn)行了分析,實(shí)驗(yàn)結(jié)果顯示1)Consistency Regularization 和Random Propagation均能提升模型的泛化能力(圖四);2)GRAND具有更好的對(duì)抗魯棒性(圖五);3)GRAND可以減輕過(guò)平滑問(wèn)題(圖六)。

圖四

圖五

圖六