Stochastic Gradient Learning in Neural Networks
Léon Bottou · 1991
Many connectionist learning algorithms consists of minimizing a cost of the form C(w) = E(J(z,w)) = J(z,w)dP(z) where dP is an unknown probability distribution that characterizes the problem to learn, and J, the loss function, defines the learning system itself. This popular statistical formulation has led to many theoretical results. The minimization of such a cost may be achieved with a stochastic gradient descent algorithm, e.g.: wt+1 = wt − ɛt∇wJ(z,wt) With some restrictions on J and C, this algorithm converges, even if J is non differentiable on a set of measure 0. Links with simulated annealing are depicted. Résumé De nombreux algorithmes connexionnistes consistent à minimiser un coût de la forme C(w) = E(J(z,w)) = J(z,w)dP(z) où dP est une distribution de probabilité inconnue qui caractérise le problème, et J, le critère local, décrit le système d’apprentissage lui même. Cette formulation statistique bien connue a donné lieu à de nombreux résultats théoriques. La minimisation d’un tel coût peut être accomplie au moyen d’un algorithme de descente stochastique de gradient, par exemple: wt+1 = wt − ɛt∇wJ(z,wt) Au prix de quelques restrictions sur C et J, cet algorithme converge, même si J n’est pas dérivable sur un ensemble de mesure nulle. Des liens avec les méthodes de recuit simulé sont également soulignés.