39 lines
No EOL
2 KiB
Text
39 lines
No EOL
2 KiB
Text
---
|
|
title: "Variational Graph AutoEncoder with Wasserstein"
|
|
categories: [convolution, machine learning, vae, graphes]
|
|
---
|
|
{{< include /_macros.tex >}}
|
|
|
|
Suite à la discussion avec Julian j'inscris ce que l'on s'est dit.
|
|
|
|
# Idée principale
|
|
|
|
Les VAE avec convolution de graphes (GCN) permettent d'apprendre une représentation latente des noeuds d'un graphe basée sur les interactions entre noeuds.
|
|
|
|
**Objectif** : apprendre un même encodeur et donc un espace latent structuré pour clusteriser une collection de réseaux sur la base de la structure.
|
|
*Sous-objectif* : pouvoir prendre en compte des covariables (Fused Wasserstein ?).
|
|
|
|
Principe du VAE:
|
|
|
|
Soit $Y$ une matrice d'adjacence (ou de bi-adjacence pour les graphes bipartites), $X$ une matrice de covariables.
|
|
|
|
Soit $D_1$ la matrice des degrés en ligne, $D_2$ la matrice des degrés en colonne.
|
|
|
|
$\widetilde{Y} = D_1^{-1/2} Y D_2^{-1/2}$
|
|
|
|
**à compléter**
|
|
|
|
# Apprentissage contrastif
|
|
|
|
Puisque l'on voudrait marquer la séparation entre différentes structures de réseaux, on pourrait vouloir faire de l'[apprentissage contrastif pour V(G)AE](https://u9534056.medium.com/an-overview-of-contrastive-learning-fa520f5f2c23).
|
|
|
|
## Hypersphère méga cool
|
|
|
|
Il faut creuser : forcer les contraintes des *embeddings* à vivre sur la surface d'une hypersphère car, d'après Julian et la littérature, par rapport à un espace euclidien cela permet d'avoir :
|
|
|
|
- position latente bornée : stabilisation de l'apprentissage et évite l'explosion dans une ou plusieurs directions.
|
|
- couverture "uniforme" de la sphère : tendance à faciliter l'apprentissage contrastif, avec l'idée de bien séparer les graphes aux structures différentes.
|
|
|
|
[Première source](https://www.envisioning.com/vocab/hyperspherical-representation-learning)
|
|
|
|
Le softmax est remplacée par la loi de von Mises-Fisher. D'après [Wikipédia](https://fr.wikipedia.org/wiki/Loi_de_von_Mises-Fisher#Relation_avec_la_loi_normale) équivalent de la loi normale multivariée à covariance isotrope restreinte à l'hypersphère unité. |