Spectral factor model for time series learning
Abhilash Alexander Miranda, Gianluca Bontempi · 2011
Today's computerized processes generatemassive amounts of streaming data.In many applications, data is collected for modeling the processes. The process model is hoped to drive objectives such as decision support, data visualization, business intelligence, automation and control, pattern recognition and classification, etc. However, we face significant challenges in data-driven modeling of processes. Apart from the errors, outliers and noise in the data measurements, the main challenge is due to a large dimensionality, which is the number of variables each data sample measures. The samples often form a long temporal sequence called a multivariate time series where any one sample is influenced by the others.We wish to build a model that will ensure robust generation, reviewing, and representation of new multivariate time series that are consistent with the underlying process.In this thesis, we adopt a modeling framework to extract characteristics from multivariate time series that correspond to dynamic variation-covariation common to the measured variables across all the samples. Those characteristics of a multivariate time series are named its 'commonalities' and a suitable measure for them is defined. What makes the multivariate time series model versatile is the assumption regarding the existence of a latent time series of known or presumed characteristics and much lower dimensionality than the measured time series; the result is the well-known 'dynamic factor model'.Original variants of existing methods for estimating the dynamic factor model are developed: The estimation is performed using the frequency-domain equivalent of the dynamic factor model named the 'spectral factor model'. To estimate the spectral factor model, ideas are sought from the asymptotic theory of spectral estimates. This theory is used to attain a probabilistic formulation, which provides maximum likelihood estimates for the spectral factor model parameters. Then, maximum likelihood parameters are developed with all the analysis entirely in the spectral-domain such that the dynamically transformed latent time series inherits the commonalities maximally.The main contribution of this thesis is a learning framework using the spectral factor model. We term learning as the ability of a computational model of a process to robustly characterize the data the process generates for purposes of pattern matching, classification and prediction. Hence, the spectral factor model could be claimed to have learned a multivariate time series if the latent time series when dynamically transformed extracts the commonalities reliably and maximally. The spectral factor model will be used for mainly two multivariate time series learning applications: First, real-world streaming datasets obtained from various processes are to be classified; in this exercise, human brain magnetoencephalography signals obtained during various cognitive and physical tasks are classified. Second, the commonalities are put to test by asking for reliable prediction of a multivariate time series given its past evolution; share prices in a portfolio are forecasted as part of this challenge.For both spectral factor modeling and learning, an analytical solution as well as an iterative solution are developed. While the analytical solution is based on low-rank approximation of the spectral density function, the iterative solution is based on the expectation-maximization algorithm. For the human brain signal classification exercise, a strategy for comparing similarities between the commonalities for various classes of multivariate time series processes is developed. For the share price prediction problem, a vector autoregressive model whose parameters are enriched with the maximum likelihood commonalities is designed. In both these learning problems, the spectral factor model gives commendable performance with respect to competing approaches.Les processus informatises actuels generent des quantites massives de flux de donnees. Dans nombre d'applications, ces flux de donnees sont collectees en vue de modeliser les processus. Les modeles de processus obtenus ont pour but la realisation d'objectifs tels que l'aide a la decision, la visualisation de donnees, l'informatique decisionnelle, l'automatisation et le controle, la reconnaissance de formes et la classification, etc. La modelisation de processus sur la base de donnees implique cependant de faire face a d’importants defis. Outre les erreurs, les donnees aberrantes et le bruit, le principal defi provient de la large dimensionnalite, i.e. du nombre de variables dans chaque echantillon de donnees mesurees. Les echantillons forment souvent une longue sequence temporelle appelee serie temporelle multivariee, ou chaque echantillon est influence par les autres. Notre objectif est de construire un modele robuste qui garantisse la generation, la revision et la representation de nouvelles series temporelles multivariees coherentes avec le processus sous-jacent.Dans cette these, nous adoptons un cadre de modelisation capable d’extraire, a partir de series temporelles multivariees, des caracteristiques correspondant a des variations - covariations dynamiques communes aux variables mesurees dans tous les echantillons. Ces caracteristiques sont appelees «points communs» et une mesure qui leur est appropriee est definie. Ce qui rend le modele de series temporelles multivariees polyvalent est l'hypothese relative a l'existence de series temporelles latentes de caracteristiques connues ou presumees et de dimensionnalite beaucoup plus faible que les series temporelles mesurees; le resultat est le bien connu «modele factoriel dynamique». Des variantes originales de methodes existantes pour estimer le modele factoriel dynamique sont developpees : l'estimation est realisee en utilisant l'equivalent du modele factoriel dynamique au niveau du domaine de frequence, designe comme le «modele factoriel spectral». Pour estimer le modele factoriel spectral, nous nous basons sur des idees relatives a la theorie des estimations spectrales. Cette theorie est utilisee pour aboutir a une formulation probabiliste, qui fournit des estimations de probabilite maximale pour les parametres du modele factoriel spectral. Des parametres de probabilite maximale sont alors developpes, en placant notre analyse entierement dans le domaine spectral, de facon a ce que les series temporelles latentes transformees dynamiquement heritent au maximum des points communs.La principale contribution de cette these consiste en un cadre d'apprentissage utilisant le modele factoriel spectral. Nous designons par apprentissage la capacite d'un modele de processus a caracteriser de facon robuste les donnees generees par le processus a des fins de filtrage par motif, classification et prediction. Dans ce contexte, le modele factoriel spectral est considere comme ayant appris une serie temporelle multivariee si la serie temporelle latente, une fois dynamiquement transformee, permet d'extraire les points communs de facon fiable et maximale. Le modele factoriel spectral sera utilise principalement pour deux applications d'apprentissage de series multivariees : en premier lieu, des ensembles de donnees sous forme de flux venant de differents processus du monde reel doivent etre classifies; lors de cet exercice, la classification porte sur des signaux magnetoencephalographiques obtenus chez l'homme au cours de differentes tâches physiques et cognitives; en second lieu, les points communs obtenus sont testes en demandant une prediction fiable d'une serie temporelle multivariee etant donnee l'evolution passee; les prix d'un portefeuille d'actions sont predits dans le cadre de ce defi.A la fois pour la modelisation et pour l'apprentissage factoriel spectral, une solution analytique aussi bien qu'une solution iterative sont developpees. Tandis que la solution analytique est basee sur une approximation de rang inferieur de la fonction de densite spectrale, la solution iterative est basee, quant a elle, sur l'algorithme de maximisation des attentes. Pour l'exercice de classification des signaux magnetoencephalographiques humains, une strategie de comparaison des similitudes entre les points communs des differentes classes de processus de series temporelles multivariees est developpee. Pour le probleme de prediction des prix des actions, un modele vectoriel autoregressif dont les parametres sont enrichis avec les points communs de probabilite maximale est concu. Dans ces deux problemes d’apprentissage, le modele factoriel spectral atteint des performances louables en regard d’approches concurrentes.