Variational Graph AutoEncoder with Wasserstein
Suite à la discussion avec Julian j’inscris ce que l’on s’est dit.
1 Idée principale
Les VAE avec convolution de graphes (GCN) permettent d’apprendre une représentation latente des noeuds d’un graphe basée sur les interactions entre noeuds.
Objectif : apprendre un même encodeur et donc un espace latent structuré pour clusteriser une collection de réseaux sur la base de la structure. Sous-objectif : pouvoir prendre en compte des covariables (Fused Wasserstein ?).
Principe du VAE:
Soit Y une matrice d’adjacence (ou de bi-adjacence pour les graphes bipartites), X une matrice de covariables.
Soit D_1 la matrice des degrés en ligne, D_2 la matrice des degrés en colonne.
\widetilde{Y} = D_1^{-1/2} Y D_2^{-1/2}
à compléter
2 Apprentissage contrastif
Puisque l’on voudrait marquer la séparation entre différentes structures de réseaux, on pourrait vouloir faire de l’apprentissage contrastif pour V(G)AE.
2.1 Hypersphère méga cool
Il faut creuser : forcer les contraintes des embeddings à vivre sur la surface d’une hypersphère car, d’après Julian et la littérature, par rapport à un espace euclidien cela permet d’avoir :
- position latente bornée : stabilisation de l’apprentissage et évite l’explosion dans une ou plusieurs directions.
- couverture “uniforme” de la sphère : tendance à faciliter l’apprentissage contrastif, avec l’idée de bien séparer les graphes aux structures différentes.
Le softmax est remplacée par la loi de von Mises-Fisher. D’après Wikipédia équivalent de la loi normale multivariée à covariance isotrope restreinte à l’hypersphère unité.