【論文標(biāo)題】Design Space for Graph Neural Networks 【作者團(tuán)隊(duì)】Jiaxuan You，Rex Ying，Jure Leskovec 【發(fā)表時(shí)間】2020/11/17 【論文鏈接】https://arxiv.org/abs/2011.08843 【代碼鏈接】https://github.com/snap-stanford/graphgym

【推薦理由】 本文出自斯坦福大學(xué) Jure Leskovec 團(tuán)隊(duì)，已被 NeurIPS 2020 收錄為 Spotlight 論文，作者從更一般的視角出發(fā)，提出了通用的 GNN 設(shè)計(jì)空間與人物空間，實(shí)現(xiàn)了從研究如何設(shè)計(jì)針對(duì)特定任務(wù)的單個(gè) GNN 到系統(tǒng)地研究 GNN 設(shè)計(jì)空間和任務(wù)空間的轉(zhuǎn)變。

隨著圖神經(jīng)網(wǎng)絡(luò)(GNN)的快速發(fā)展，人們?cè)O(shè)計(jì)出了越來(lái)越多的新型 GNN 架構(gòu)，提出了許多新的應(yīng)用。然而，當(dāng)前的研究側(cè)重于提出和評(píng)估特定的 GNN 架構(gòu)設(shè)計(jì)（例如，GCN、GIN、GAT），而不是研究更一般的由不同設(shè)計(jì)維度（例如，網(wǎng)絡(luò)的層數(shù)或聚合函數(shù)的類型）的笛卡爾積組成的 GNN 的設(shè)計(jì)空間。此外，GNN 通常專門針對(duì)單個(gè)任務(wù)而設(shè)計(jì)，但很少有人試圖研究如何快速為新任務(wù)或新數(shù)據(jù)集找到最佳的 GNN 設(shè)計(jì)。在本文中，作者定義并系統(tǒng)地研究了GNN 的架構(gòu)設(shè)計(jì)空間，它包含了超過(guò) 32 種不同的預(yù)測(cè)任務(wù)的 315,000 種不同的設(shè)計(jì)。本文提出的方法包含以下三個(gè)主要?jiǎng)?chuàng)新：(1)一個(gè)通用的 GNN 設(shè)計(jì)空間；(2)具有相似度度量的 GNN 任務(wù)空間，從而對(duì)于給定的新任務(wù)/數(shù)據(jù)集可以快速識(shí)別/遷移性能最好的架構(gòu)；(3)一種高效的設(shè)計(jì)空間評(píng)價(jià)方法，可以從大量的「模型-任務(wù)」組合中蒸餾知識(shí)。 本文得出的主要結(jié)論包括：(1)一套全面的指導(dǎo)如何設(shè)計(jì)性能良好的 GNN 的方針；(2)雖然針對(duì)不同的任，最佳的 GNN 設(shè)計(jì)存在顯著差異，但 GNN 任務(wù)空間使我們可以在不同任務(wù)之間遷移最佳設(shè)計(jì)；(3)利用本文提出的設(shè)計(jì)空間發(fā)現(xiàn)的模型獲得了目前最優(yōu)的性能。

圖 1：GNN 設(shè)計(jì)空間和任務(wù)空間概覽。 總而言之，本文的工作提供了一種原則性的、可擴(kuò)展的方法，實(shí)現(xiàn)了從研究針對(duì)特定任務(wù)的單個(gè) GNN 設(shè)計(jì)到系統(tǒng)地研究 GNN 設(shè)計(jì)空間和任務(wù)空間的轉(zhuǎn)變。 此外，本文作者還發(fā)布了 GraphGym，這是一種用于探索不同 GNN 設(shè)計(jì)和任務(wù)的強(qiáng)大平臺(tái)。GraphGym 具有模塊化的 GNN 實(shí)現(xiàn)、標(biāo)準(zhǔn)化的 GNN 評(píng)估和可復(fù)現(xiàn)和可擴(kuò)展的實(shí)驗(yàn)流程。

內(nèi)容中包含的圖片若涉及版權(quán)問(wèn)題，請(qǐng)及時(shí)與我們聯(lián)系刪除