Apprentissage statistique en grandes dimensions : une approche rigoureuse par la physique statistique
Cédric Gerbelot · HAL (Le Centre pour la Communication Scientifique Directe) · 2022
Les succès pratiques récents de l'apprentissage automatique dans toutes les tâches qui impliquent de l'analyse de données ont provoqué le besoin d'une théorie allant au-delà des statistiques classiques. À cet égard, le domaine de la physique statistique des milieux désordonnés propose une littérature conséquente dans l'analyse asymptotique exacte de systèmes aléatoires en grandes dimensions. Bien qu'ils soient efficaces, de nombreux outils issus de la physique statistique ne sont pas rigoureux et les modèles auxquels ils sont appliqués manquent de liens avec des scénarios réalistes d'apprentissage statistique. Cela motive l'introduction de modèles avec des données structurées et des méthodes d'apprentissage plus proches de l'état de l'art, ainsi que l'extension des méthodes de preuves existantes à ces problèmes. Cette thèse s'intéresse donc aux propriétés mathématiques d'une famille de fonctions implicites de grandes matrices aléatoires rencontrées en apprentissage supervisé ainsi qu'en inférence, notamment dans le contexte de la minimisation de risque empirique convexe. Nous établissons tout d'abord une extension des résultats de concentration existants pour la dynamique d'algorithmes de passage de messages approximés, et illustrons cette théorie sur des problèmes d'inférences dans des modèles probabilistes génératifs convolutionnels multicouches. Nous montrons également que des méthodes de preuves similaires permettent d'obtenir des résultats asymptotiques pour la dynamique de la descente de gradient stochastique avec des données aléatoires. Nous utilisons ensuite ces résultats pour étudier le comportement statistique d'une famille de modèles linéaires généralisés convexes sous l'hypothèse de données aléatoires qui incluent des transformations de prédicteurs et de données allant au-delà de l'hypothèse i.i.d. Gaussienne, l'agrégation de prédicteurs, les problèmes multiclasses, et différentes régularisations. Les évaluations numériques des formules établies montrent que, pour de nombreux modèles et tâches d'apprentissage, les courbes de performance obtenues par les prédictions théoriques correspondant à des modèles synthétiques Gaussiens corrélés dont les matrices de covariance sont celles des données empiriques, capturent exactement les courbes des problèmes réels. Les méthodes de preuve sont basées sur les éléments de théorie des probabilités inspirés de la physique statistique des verres de spin, l'optimisation et l'analyse convexe.