This commit is contained in:
parent
9d322580aa
commit
46c72ff2f8
1 changed files with 12 additions and 1 deletions
|
|
@ -21,4 +21,15 @@ Soit $D_1$ la matrice des degrés en ligne, $D_2$ la matrice des degrés en colo
|
||||||
|
|
||||||
$\widetilde{Y} = D_1^{-1/2} Y D_2^{-1/2}$
|
$\widetilde{Y} = D_1^{-1/2} Y D_2^{-1/2}$
|
||||||
|
|
||||||
|
**à compléter**
|
||||||
|
|
||||||
# Hypersphère méga cool
|
# Hypersphère méga cool
|
||||||
|
|
||||||
|
Il faut creuser les contraintes des *embeddings* à vivre sur la surface d'une hypersphère car, d'après Julian et la littérature, par rapport à un espace euclidien cela permet d'avoir :
|
||||||
|
|
||||||
|
- position latente bornée : stabilisation de l'apprentissage et évite l'explosion dans une ou plusieurs directions.
|
||||||
|
- couverture "uniforme" de la sphère : tendance à faciliter l'apprentissage contrastif, avec l'idée de bien séparer les graphes aux structures différentes.
|
||||||
|
|
||||||
|
[Première source](https://www.envisioning.com/vocab/hyperspherical-representation-learning)
|
||||||
|
|
||||||
|
Le softmax est remplacée par la loi de von Mises-Fisher. D'après [Wikipédia](https://fr.wikipedia.org/wiki/Loi_de_von_Mises-Fisher#Relation_avec_la_loi_normale) équivalent de la loi normale multivariée à covariance isotrope restreinte à l'hypersphère unité.
|
||||||
Loading…
Add table
Reference in a new issue