From a95b686dd5223b3251074a1c7c0d4465bb9edc2d Mon Sep 17 00:00:00 2001 From: Louis Date: Mon, 11 May 2026 13:51:45 +0200 Subject: [PATCH] Contrastive learning --- knowledge_base/vae_wasserstein_gromov.qmd | 8 ++++++-- 1 file changed, 6 insertions(+), 2 deletions(-) diff --git a/knowledge_base/vae_wasserstein_gromov.qmd b/knowledge_base/vae_wasserstein_gromov.qmd index bccc9ea..44a1f2e 100644 --- a/knowledge_base/vae_wasserstein_gromov.qmd +++ b/knowledge_base/vae_wasserstein_gromov.qmd @@ -23,9 +23,13 @@ $\widetilde{Y} = D_1^{-1/2} Y D_2^{-1/2}$ **à compléter** -# Hypersphère méga cool +# Apprentissage contrastif -Il faut creuser les contraintes des *embeddings* à vivre sur la surface d'une hypersphère car, d'après Julian et la littérature, par rapport à un espace euclidien cela permet d'avoir : +Puisque l'on voudrait marquer la séparation entre différentes structures de réseaux, on pourrait vouloir faire de l'[apprentissage contrastif pour V(G)AE](https://u9534056.medium.com/an-overview-of-contrastive-learning-fa520f5f2c23). + +## Hypersphère méga cool + +Il faut creuser : forcer les contraintes des *embeddings* à vivre sur la surface d'une hypersphère car, d'après Julian et la littérature, par rapport à un espace euclidien cela permet d'avoir : - position latente bornée : stabilisation de l'apprentissage et évite l'explosion dans une ou plusieurs directions. - couverture "uniforme" de la sphère : tendance à faciliter l'apprentissage contrastif, avec l'idée de bien séparer les graphes aux structures différentes.