An in-depth study of the deep learning pipeline
Adrien Courtois · 2023
Une étude en profondeur de l'apprentissage profond Malgré l'immense succès des réseaux de neurones dans de nombreuses applications, la compréhension de leurs performances et de leurs limites progresse lentement. Bien que les théorèmes d'approximation universelle apportent la promesse de machines capables d'approximer n'importe quelle application complexe, ces résultats sont des énoncés asymptotiques et génériques qui ne donnent que peu d'informations sur les cas pratiques.En effet, la complexité de l'analyse théorique vient du fait que trois éléments sont nécessaires pour entraîner un réseau de neurones : un jeu de données, une architecture neuronale et un optimiseur. La plupart des théories disponibles se concentrent sur un seul de ces éléments à la fois, et l'on sait peu de choses sur leurs interactions. Cette thèse développe une analyse de chacun de ces éléments et de leurs interactions, en théorie et en pratique,à travers une application particulièrement déroutante : l'estimation de profondeur mono-image. Nous commençons par analyser les jeux de données, qui jouent le rôle des ombres projetées sur le mur de la caverne de Platon, dont les habitants sont les réseaux neuronaux. Nous étudions l'impact de leur définition sur les réseaux neuronaux et la manière dont la conception d'ensembles de données synthétiques peut être exploitée pour mieux comprendre les performances et les limites de chaque architecture neuronale.Une analyse plus poussée des propriétés des architectures neuronales nous amène à discuter des moyens de les adapter à une nouvelle tâche ou à un nouveau jeu de données, en utilisant deux applications fondamentales comme bancs d'essai : l'estimation de profondeur mono-image et les méthodes de débruitage vidéo. En donnant des contre-exemples, nous montrons également comment les théorèmes d'approximation universels ne s'appliquent pas au cas pratique. Enfin, nous nous plongeons dans la théorie des optimiseurs et décrivons comment ils définissent la structure des machines d'apprentissage. Nous nous concentrons sur le concept de stabilité du processus d'optimisation et proposons l'utilisation de limites explicites sur les paramètres d'un réseau de neurones et leurs mises à jour, garantissant que sa sortie sera bornée quelles que soient sa largeur et sa profondeur. Enfin, nous déduisons une nouvelle forme pour les optimiseurs neuronaux classiques qui favorise leur stabilité.