Graph Attention Networks with auxiliary positional embedding models
Liheng Ma · 2021
Les collections de données à grande échelle représentées par des graphiques sont partout : réseaux sociaux, molécules chimiques, réseaux de protéines, le web, et bien d'autres exemples encore.L'omniprésence de ces données structurées par des graphiques nécessite le développement de méthodes pour comprendre et utiliser les informations représentées sous cette forme.Les réseaux neuronaux de graphes (GNN) sont des méthodes basées sur l'apprentissage profond qui fournissent les performances actuelles de l'état de l'art dans l'apprentissage machine sur des graphes.Dans ce travail, nous analysons les limites des Graph Attention Networks (GAT), une variante commune des GNN, pour explorer pleinement les informations structurelles dans chaque localité sur les graphes, ce qui limite leur capacité à apprendre sur des graphes non-homophiles.Inspirés par l'encodage positionnel des Transformers, un modèle d'apprentissage profond de choix dans de nombreuses tâches de traitement du langage naturel, nous proposons un cadre, appelé GAT-POS, pour améliorer les GAT en incorporant des représenta-tions structurelles de nœuds à partir d'un modèle de représentations auxiliaire, qui apprend les informations structurelles et positionnelles sur les graphes.Dans ce cadre, le modèle de représentations structurelles et positionelles est intégré à l'architecture standard de la GAT en tant que modèle auxiliaire, et la tâche supervisée de prédiction des étiquettes de nœuds avec le modèle principal et la tâche non supervisée de prédiction du contexte du graphe avec le modèle auxiliaire sont formées conjointement avec la même architecture.Les résultats expérimentaux montrent que le GAT-POS proposé atteint des performances comparables à celles des GNN typiques (GAT et GCN) sur des ensembles de données homophiles et surpasse les GNN typiques et le Geom-GCN récemment introduit, qui est un GNN amélioré par l'intégration, sur des ensembles de données non-homophiles