On the Asymptotics of the LRT in Mixture Models
Astrid Ruck · 2005
The subject of this thesis is the asymptotic distribution of the Likelihood Ratio Test (LRT) statistic of hypotheses about the number of components in finite mixture models. Our starting point are the sufficient conditions for the existence of a limiting distribution of the LRT statistic for testing q against p components given by Dacunha-Castelle and Gassiat (1999). An analysis shows that these requirements do not hold, for instance, for mixtures of univariate normal distributions with heterogeneity of variances. After our modifications of the sufficient conditions given by Dacunha-Castelle and Gassiat (1999) a wider range of applications of their theory is offered. Additionally, we derive sufficient conditions for the existence of a limiting distribution of the LRT statistic for mixtures of general minimal exponential families. Afterwards we provide a set of various (new) examples for Gaussian-distributions, Gamma-distributions and discrete distributions possessing these properties. Our first modification offers testing for q against q+1 components of bivariate normal distributions with unknown (arbitrary) covariance matrix and our second modification offers testing homogeneity against a two population mixture of univariate normal distributions with heterogeneity of variances, if the component parameter space is suitably restricted. Finally, a method for simulating the quantiles the asymptotic distribution is introduced. Under the null hypothesis the LRT statistic converges in distribution to a supremum of a functional of a suitable Gaussian process, which we approximate with the aid of its final-dimensional marginal distributions. Considering as example a simple test of homogeneity of univariate normal distributions with unknown mean we give numerical results of this general method. In this context we introduce a modified spectral factorization on the resulting covariance matrix, whose outcome is a product of surprisingly low dimensional matrices and leads to considerably short computation times. A comparison of the power of the simulated asymptotic and exact quantiles shows that even for a small sample size the power is nearly the same. In dieser Arbeit wird die asymptotische Verteilung der Likelihood Ratio Test (LRT) Statistik von Hypothesen uber die Anzahl der Komponenten in endlichen Mischungsmodellen untersucht. Unser Ausgangspunkt sind die hinreichenden Bedingungen fur die Existenz einer Grenzverteilung der LRT Statistik fur den Test von q gegen p Komponenten von Dacunha-Castelle und Gassiat (1999). Eine Analyse zeigt, das diese Voraussetzungen, die sich auf allgemeine Mischungsmodelle beziehen, beispielsweise nicht fur einfache Mischungen von univariaten Normalverteilungen mit Varianzheterogenitat erfullt sind. Durch unsere Modifikationen der hinreichenden Bedingungen von Dacunha-Castelle und Gassiat (1999) wird ihrer Theorie ein breiteres Anwendungsspektrum verliehen. Zusatzlich leiten wir hinreichende Bedingungen fur die Existenz einer Grenzverteilung der LRT Statistik fur Mischungen allgemeiner minimaler Exponentialfamilien her. Anschliesend geben wir eine Reihe (neuer) Beispiele fur Gaus-Verteilungen, Gamma-Verteilungen und diskrete Verteilungen an, die diese Eigenschaften aufweisen. Unsere erste Modifikation ermoglicht einen Test von q gegen q+1 Komponenten bivariater Normalverteilungen mit unbekannter (beliebiger) Kovarianzmatrix und unsere zweite Modifikation ermoglicht einen Homogenitatstest gegen zwei Populationen univariater Normalverteilungen mit Varianzheterogenitat, wenn der Komponentenparameterraum geeignet eingeschrankt wird. Schlieslich wird eine Methode fur die Simulation der Quantile der asymptotischen Verteilung vorgestellt. Unter der Nullhypothese konvergiert die LRT Statistik in Verteilung gegen ein Supremum eines Funktionals eines geeigneten Gausprozesses, den wir mit Hilfe seiner endlichdimensionalen Randverteilungen approximieren. Am Beispiel eines einfachen Homogentitatstests von univariaten Normalverteilungen mit unbekanntem Erwartungswert geben wir numerische Ergebnisse fur dieses allgemeine Verfahren an. In diesem Zusammenhang fuhren wir eine modifizierte Spektralzerlegung der entsprechenden Kovarianzmatrix ein, die ein Produkt aus uberraschend niedrigdimensionalen Matrizen ist und zu bemerkenswert kurzen Rechenzeiten fuhrt. Ein Vergleich der Power der simulierten asymptotischen und exakten Quantile zeigt, das schon fur einen relativ kleinen Stichprobenumfang die Power fast identisch ist.