Sequential Monte Carlo for inference in nonlinear state space models
Johan Dahlin · Linköping University Electronic Press eBooks · 2014
Nonlinear state space models (SSMs) are a useful class of models to describe many different kinds of systems.Some examples of its applications are to model; the volatility in financial markets, the number of infected persons during an influenza epidemic and the annual number of major earthquakes around the world.In this thesis, we are concerned with state inference, parameter inference and input design for nonlinear SSMs based on sequential Monte Carlo (SMC) methods.The state inference problem consists of estimating some latent variable that is not directly observable in the output from the system.The parameter inference problem is concerned with fitting a pre-specified model structure to the observed output from the system.In input design, we are interested in constructing an input to the system, which maximises the information that is available about the parameters in the system output.All of these problems are analytically intractable for nonlinear SSMs.Instead, we make use of SMC to approximate the solution to the state inference problem and to solve the input design problem.Furthermore, we make use of Markov chain Monte Carlo (MCMC) and Bayesian optimisation (BO) to solve the parameter inference problem.In this thesis, we propose new methods for parameter inference in SSMs using both Bayesian and maximum likelihood inference.More specifically, we propose a new proposal for the particle Metropolis-Hastings algorithm, which includes gradient and Hessian information about the target distribution.We demonstrate that the use of this proposal can reduce the length of the burn-in phase and improve the mixing of the Markov chain.Furthermore, we develop a novel parameter inference method based on the combination of BO and SMC.We demonstrate that this method requires a relatively small amount of samples from the analytically intractable likelihood, which are computationally costly to obtain.Therefore, it could be a good alternative to other optimisation based parameter inference methods.The proposed BO and SMC combination is also extended for parameter inference in nonlinear SSMs with intractable likelihoods using approximate Bayesian computations.This method is used for parameter inference in a stochastic volatility model with α-stable returns using real-world financial data.Finally, we develop a novel method for input design in nonlinear SSMs which makes use of SMC methods to estimate the expected information matrix.This information is used in combination with graph theory and convex optimisation to estimate optimal inputs with amplitude constraints.We also consider parameter estimation in ARX models with Student-t innovations and unknown model orders.Two different algorithms are used for this inference: reversible Jump Markov chain Monte Carlo and Gibbs sampling with sparseness priors.These methods are used to model real-world EEG data with promising results.v Populärvetenskaplig sammanfattningDen värld som vi lever i är fylld av olika typer av system som kan beskrivas med matematiska modeller.Med hjälp av dessa modeller kan vi skapa oss en bättre förståelse av hur dessa system påverkas av sin omgivning, samt förutsäga hur de kommer att utvecklas över tid.Exempelvis kan man konstruera modeller av vädret baserad på kunskap om fysik samt tidigare års väder.Dessa modeller kan sedan användas för att exempelvis förutsäga om det kommer att regna imorgon.En annan typ av modeller kan användas för att prissätta olika typer av finansiella kontrakt, baserat på tidigare utfall och ekonomisk teori.Ett tredje exempel är modeller för att förutsäga antalet framtida jordbävningar i världen, givet historisk data och några modellantaganden.Det som är gemensamt för dessa exempel är att de alla beskriver icke-linjära dynamiska system, alltså system som utvecklas över tid.I denna avhandling är vi intresserade av att bygga icke-linjära tillståndsmodeller av dynamiska system med hjälp av datadrivna statistiska inferensmetoder.Med hjälp av dessa modeller och metoder är det möjligt att kombinera teoretiska kunskaper som beskrivs av en modellstruktur med observationer från systemet.Den senare informationen kan användas för att bestämma värdet på några okända parametrar i modellen, detta kallas även för parameterskattning.Ett annat vanligt förekommande problem är tillståndsskattning, där vi vill bestämma värdet på någon dynamisk storhet i systemet som inte kan observeras direkt.Det huvudsakliga problemet med detta angreppssätt är att inget av dessa skattningsproblem kan lösas exakt med hjälp av analytiska metoder.Istället nyttjar vi approximativa metoder som baseras på statistiska simuleringer för att lösa problemen.Så kallade sekventiella Monte Carlo-metoder används för att approximera lösningen till tillståndsskattningsproblemet.Detta görs med hjälp av en dator som simulerar en stor mängd hypoteser (även kallade partiklar) om hur systemet fungerar.De hypoteser som stämmer väl överens med det verkliga observerade beteendet sparas och förfinas i nästkommande steg.De övriga hypoteserna tas bort från simuleringen för att fokusera beräkningskraften på de hypoteser som har relevans enligt den observerade informationen.Parameterskattningsproblemet kan lösas approximativt med liknande metoder som även de bygger på simulering.I denna avhandling arbetar vi främst med att försöka förbättra parameterskattningsmetoder som bygger på partikel Markovkedje-Monte Carlo (MCMC) och Bayesiansk optimering.De förbättringar som vi föreslår leder till att skattningarna kan beräknas snabbare än tidigare genom att bättre ta tillvara på den information som finns i det observerade datamaterialet.Dessa metoder används för att exempelvis prissätta finansiella optioner.Vi föreslår även en ny algoritm för att skapa insignaler till system så att observationerna som erhålls från systemet, innehåller så mycket information som möjligt om de okända parametrarna.Slutligen demonstrerar vi hur man kan använda MCMC-metoder för parameterskattning i modeller som kan användas för att beskriva EEG-signaler.vii I could never have written my thesis without the help, love and support from all the people around me, now and in the past.I will now spend a few lines to express my gratitude to some of the special people that have helped me along the way.First and foremost, I would like to acknowledge the help and support from my supervisors.My main supervisor Prof. Thomas Schön has always provided me with encouragement, ideas, new people to meet, new opportunities to grab and challenges to help me grow.Also, my co-supervisor Dr. Fredrik Lindsten has always been there for me with answers to my questions, explanations to my problems and ideas/suggestions for my work.I am most impressed by your enthusiasm and dedication in the roles as supervisors.I think that you both have surpassed what can be expected from a supervisor and for this I am extremely grateful.I could never have done this without you!Thank you for your support and all our time running together in Stanley park, Maastricht, Warwick and Söderköping