---
title: "Variational Graph AutoEncoder with Wasserstein"
categories: [convolution, machine learning, vae, graphes]
---
{{< include /_macros.tex >}}

Suite à la discussion avec Julian j'inscris ce que l'on s'est dit.

# Idée principale

Les VAE avec convolution de graphes (GCN) permettent d'apprendre une représentation latente des noeuds d'un graphe basée sur les interactions entre noeuds.

**Objectif** : apprendre un même encodeur et donc un espace latent structuré pour clusteriser une collection de réseaux sur la base de la structure.
*Sous-objectif* : pouvoir prendre en compte des covariables (Fused Wasserstein ?).

Principe du VAE:

Soit $Y$ une matrice d'adjacence (ou de bi-adjacence pour les graphes bipartites), $X$ une matrice de covariables.

Soit $D_1$ la matrice des degrés en ligne, $D_2$ la matrice des degrés en colonne.

$\widetilde{Y} = D_1^{-1/2} Y D_2^{-1/2}$ 

**à compléter**

# Hypersphère méga cool

Il faut creuser les contraintes des *embeddings* à vivre sur la surface d'une hypersphère car, d'après Julian et la littérature, par rapport à un espace euclidien cela permet d'avoir :

- position latente bornée : stabilisation de l'apprentissage et évite l'explosion dans une ou plusieurs directions.
- couverture "uniforme" de la sphère : tendance à faciliter l'apprentissage contrastif, avec l'idée de bien séparer les graphes aux structures différentes.

[Première source](https://www.envisioning.com/vocab/hyperspherical-representation-learning)

Le softmax est remplacée par la loi de von Mises-Fisher. D'après [Wikipédia](https://fr.wikipedia.org/wiki/Loi_de_von_Mises-Fisher#Relation_avec_la_loi_normale) équivalent de la loi normale multivariée à covariance isotrope restreinte à l'hypersphère unité.