On Joint State Estimation and Model Learning using Gaussian Process Approximations
Anton Kullberg · Linköping studies in science and technology. Thesis · 2021
Techniques for state estimation is a cornerstone of essentially every sector of science and engineering, ranging from aeronautics and automotive engineering to economics and medical science.Common to state estimation methods, is the specification of a mathematical model of the underlying system in question.Typically, this is done a priori, i.e., the mathematical model is derived based on known physical relationships and any unknown parameters of the model are estimated from experimental data, before the process of state estimation is even started.Another approach is to jointly estimate any unknown model parameters together with the states, i.e., while estimating the state of the system, the parameters of the model are also estimated (learned ).This can be done either offline or it can be done online, i.e., the parameters are learned after the state estimation procedure is "deployed" in practice.A challenge with online parameter estimation, is that it complicates the estimation procedures and typically increases the computational burden, which limits the applicability of such methods to models with only a handful of parameters.This thesis aims to investigate how online joint state estimation and parameter learning can be done using a class of models that is physically interpretable, yet flexible enough to be able to model complex dynamics.Particularly, it is of interest to construct an estimation procedure that is applicable to problems of a large scale, which is challenging due to a high computational burden because the models typically need to contain many parameters.Further, the ability to detect sudden deviations in the behavior of the observed system with respect to the learned model is investigated.The studied model class consists of an a priori specified part providing a coarse description of the dynamics of the considered system and a generic model part that describes any dynamics that is unknown a priori and is to be learnt from data online.In particular, a subclass of these models, in which it is assumed that the spatial correlation of the underlying process is limited, is studied.A computationally efficient method to perform joint state estimation and parameter learning using this model class is proposed.In fact, the proposed method turns out to be nearly computationally invariant to the number of model parameters, enabling online inference in models with a large number of parameters, in the order of tens of thousands or more, while retaining the interpretability.Lastly, the method is applied to the problem of learning motion patterns in ship traffic in a harbor area.The method is shown to accurately capture vessel behavior going in and out of port.Further, a method to detect whether the vessels are behaving as expected, or anomalously, is developed.After initially learning the vessel behaviors from historical data, the anomaly detection method is shown to be able to detect artificially injected anomalies.v Populärvetenskaplig sammanfattningModeller är oumbärliga för hur vi människor förstår världen omkring oss.Inom vetenskapen så är dessa modeller framförallt matematiska och har historiskt sett baserats på vår förståelse av fysikaliska fenomen.Således krävs det lång tid och mycket resurser för att dessa modeller skall bli mer avancerade och kunna förklara mer komplexa fenomen.Trots detta, har dessa så kallade vitlådemodeller lett till många fantastiska tekniska uppfinningar, framförallt ledande upp till den digitala eran.Inne i den digitala eran, så har de matematiska modellerna vi använder oss av blivit mer och mer abstrakta och komplexa, med tusentals eller miljontals parametrar.Dessa parametrar saknar ofta en fysikalisk tolkning, vilket är vitalt för vår förståelse för hur dessa modeller fungerar.Därav kallas dessa modeller ofta för svartlådemodeller, i kontrast till vitlådemodellerna som helt och hållet går att fysikaliskt tolka.Mellan dessa två typer finns grålådemodeller, som är en slags kombination av en fysikaliskt tolkningsbar modell som beskriver det vi redan känner till om ett specifikt system och en generell abstrakt struktur som beskriver de egenskaper vi inte känner till.En sådan modell har både egenskapen att den kan beskriva komplexa fenomen samt att den är fysikaliskt tolkningsbar.Vad är då nyttan med dessa modeller?Varför skall vi ha dem och vad skall vi ha dem till?Modeller lägger grunden till hur vi beskriver så kallade system.Ett system kan antingen vara någonting fysiskt, så som en bil, en byggnad eller en kaffekokare.Det kan också vara något icke fysiskt, så som aktiemarknaden eller ett tv-spel.Gemensamt för dessa ting är att vi är intresserade av systemets tillstånd.Ett tillstånd kan t.ex.vara hastigheten eller totala lasten på en båt, temperaturen eller antalet personer i en byggnad eller priset och volatiliteten hos en aktie.I nästintill samtliga vetenskapliga grenar så är en noggrann skattning av dessa tillstånd av stort intresse, för att t.ex.kunna planera rörelsen hos ett självkörande fordon, med säkerhet kunna välja vilken aktie man skall investera i, kunna sänka energiförbrukningen för ventilationssystem med mera.För att skatta ett tillstånd så krävs någon typ av modell och beroende på hur väl denna modell beskriver systemet i fråga, så kommer tillstånden att kunna skattas mer eller mindre bra.En naturlig fråga att ställa sig då är hur vi får tillgång till bättre modeller?Bättre modeller får vi antingen genom att mer matematiskt noggrannt beskriva systemet vi är intresserade av genom de fysikaliska samband som råder, eller så genomför vi experiment och försöker att lära oss en modell.Så kallade lärande system är ingenting nytt, men har funnit mer och mer praktisk användarbarhet över tid.Framförallt är det vår beräkningskraft som har blivit bättre och bättre med tiden, vilket låtit oss använda mer och mer avancerade lärande system, även i t.ex.våra mobiltelefoner.Det finns dock fortfarande en tröskel för de mest komplexa modellerna, som fortfarande är alltför beräkningsmässigt tunga, men som vi vill nyttja för att förbättra dels tillståndsskattningen, men även vår förståelse för det system vi försöker modellera.Den här licentiatavhandlingen tar en närmre titt på en typ av modell som är både fysikaliskt tolkningsbar samt avancerad nog att beskriva komplexa fenovii Magnus Malmström for your comments on the manuscript.This work was supported by the Wallenberg AI and Autonomous Systems and Software Program (WASP).Thank you partly for financing my pursuit of a PhD, but mainly for providing ample opportunity to network with a fantastic group of people.