Waddington dynamics in generalized Hopfield networks
Nacer Eddine Boukacem · eScholarship@McGill (McGill) · 2023
Cette thèse étudie les dynamiques du réseau de neurones Krotov-Hopfield. En premier lieu, leChapitre 1 présente la littérature pertinente à ce sujet. Commençant par de simples réseauxlinéaires, puis introduisant des non-linéarités. La section finale du Chapitre 1 introduit lesystème principal qui est étudié dans ce texte, le réseau de neurones Krotov-Hopfield. Celui-ci est d’un intérêt particulier, car il produit des mémoires intuitivement compréhensibles.Le Chapitre 2 commence par reproduire un résultat connu dans ce système, la transitionde caractéristique-à-prototype. De surcroît, il présente de nouveaux résultats concernantles dynamiques d’apprentissage du réseau, montrant que dans une vaste gamme d’hyperpa-ramètres les brisures de symétries (aussi appelées divisions) se produisent séquentiellement,de manière reproductible. Puis, le Chapitre 2 explore un système plus simple, conçu demémoires, qui reproduit les effets mentionnés précédemment. Ce système à 2 mémoires estétudié de plus près pour comprendre (de manière perturbative) la dynamique des brisuresde symétrie. Cela mène à un diagramme de bifurcation des points selles, auxquelles ces bri-sures de symétrie se produisent. Ensuite, ce diagramme est reproduit dans des systèmescontenant plus de mémoires. Enfin, le Chapitre 2 démontre que le chemin d’apprentissage aun impact qualitatif sur l’état final du système. Ces résultats suggèrent que les réseaux deKrotov-Hopfield pourraient être utilisés pour modéliser les différentiations dans un contextebiologique