Static and Dynamic Aspects of Optimal Sequential Decision Making
Csaba Szepesvári · 1998
Dynamic Programming 3 0.1 Overview of Problems . . . . . . . . . . . . . . . . . . . . . . . . 5 0.1.1 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 0.1.2 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 0.1.3 Objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 0.1.4 Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . 12 1 Non-Markovian Policies 15 1.1 The Fundamental Equation . . . . . . . . . . . . . . . . . . . . . 15 1.2 Uniformly Optimal Policies . . . . . . . . . . . . . . . . . . . . . . 19 1.3 Finite Horizon Problems . . . . . . . . . . . . . . . . . . . . . . . 20 1.4 The Optimality Equation . . . . . . . . . . . . . . . . . . . . . . . 21 1.5 Existence of Optimal Stationary Policies . . . . . . . . . . . . . . 23 1.6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2 Increasing Models 27 2.1 Notation and Assumptions . . . . . . . . . . . . . . . . . . . . . . 27 2.2 Relations in...