Mécanique statistique de l'apprentissage avec données corrélées : entre méthode des répliques et algorithmes de passage de messages
Alia Abbara · HAL (Le Centre pour la Communication Scientifique Directe) · 2020
Au cours de la dernière décennie, les techniques d’apprentissage automatique ont connu de formidables progrès, et donnent lieu à de nombreuses applications. Elles sont néanmoins très difficiles à analyser, car elles impliquent l’utilisation de réseaux de neurones profonds sur des données réelles, régis par un nombre énorme de paramètres. La physique statistique s’est depuis longtemps attaquée à l’étude des réseaux de neurones et des problèmes d’inférence, ce dès les années 80, se penchant d’abord sur des modèles simplifiés avec données aléatoires. Les algorithmes actuels gagnant en performance, un renouveau d’intérêt a secoué la communauté physique, qui s’est de nouveau attablée à leur étude ; s’efforçant de fournir des piliers de compréhension théorique solide à travers des problèmes synthétiques qui décrivent les cas les plus probables. Les physiciens emploient en particulier des méthodes heuristiques développées dans le domaine des verres de spin, telle la méthode des répliques. Dans cette thèse, nous approchons plusieurs problèmes à travers un formalisme d’inférence Bayesienne. Un premier résultat physique est obtenu pour le problème inverse d’Ising, dans le cas d’un réseau enseignant à poids épars - en grande partie nuls. Nous nous tournons ensuite vers l’acquisition comprimée, et observons que plusieurs classes de matrices structurées partagent les mêmes transitions dans le cas d’une reconstruction sans bruit, et nous expliquons ce phénomène pour les matrices invariantes par rotation à droite. Nous exploitons le lien entre physique statistique et algorithmes de passage de messages pour démontrer la formule des répliques qui caractérise la performance optimale de reconstruction pour une régression linéaire avec pénalité convexe. Nous étendons ce résultat au modèle linéaire généralisé, qui incorpore des non-linéarités et décrit un réseau de neurones à deux couches. Ces deux résultats concernent des matrices invariantes par rotation, dépassant ainsi l’hypothèse commune de données identiquement et indépendamment distribuées, et permettant d’incorporer des corrélations entre données. Enfin, nous montrons que la complexité de Rademacher, qui fournit un encadrement de l’écart de généralisation dans le pire des cas pour des problèmes de classification binaire, est intimement liée à l’énergie libre fondamentale du problème physique correspondant, et peut être calculée dans certains cas.