Compressed predictive state representation: an efficient moment-method for sequence prediction and sequential decision-making
William L. Hamilton · eScholarship@McGill (McGill) · 2014
Pour pouvoir agir optimalement, il est important de pouvoir prédire les séquences d'observations a venir. Ceci est une tache difficile puisque le problème d'estimation du maximum de vraisemblance est non-convexe. Les méthodes standard, tel que l'algorithme d'espérance-maximisation, sont très coûteuses et inefficaces. Une application récente de la méthode des moments offre une interprétation différente du problème qui est convexe et efficace.La méthode présentée améliore l'efficacité et la précision de la méthode des moments dans le contexte de prédiction de séquences d'observations. Ceci est fait grâce à des projections aléatoires qui augmentent l'efficacité de l'algorithme. Une analyse théorique de notre méthode démontre que notre algorithme réduit la variance au dépend d'un peu plus de biais. Nos résultats empiriques démontret une meilleure performance comparativement aux méthodes précédentes. De plus, nous offrons un moyen d'exploiter les prédictions de notre algorithme de façon à agir optimalement. Ceci nous permet de produire des agents capable de raisonner dans des environnements complexes et partiellement observables.