Modeling Dynamical Systems with Recurrent Neural Networks
Fu-Sheng Tsung · 1994
: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : xi I Introduction and Motivation : : : : : : : : : : : : : : : : : : : : : : : : 1 A. Brief problem statement : : : : : : : : : : : : : : : : : : : : : : : : : 1 B. Neural networks: a paradigm of computation : : : : : : : : : : : : : 1 C. Organization of the Thesis : : : : : : : : : : : : : : : : : : : : : : : : 3 II Background and Related Work : : : : : : : : : : : : : : : : : : : : : : : 5 A. Dynamical systems : : : : : : : : : : : : : : : : : : : : : : : : : : : : 5 B. Recurrent learning algorithms : : : : : : : : : : : : : : : : : : : : : : 8 1. Hopfield nets : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 8 2. Backpropagation through time : : : : : : : : : : : : : : : : : : : 9 3. Jordan and Elman nets : : : : : : : : : : : : : : : : : : : : : : : : 11 4. Recurrent Back-prop (RBP) : : : : : : : : : : : : : : : : : : : : : 11 5. Real-time recurrent learning (RTRL) : : : : : : : : : : : : : : : : 12 6. T...