Contributions to modelling via Bayesian nonparametric mixtures
Riccardo Corradin · BOA (University of Milano-Bicocca) · 2019
I modelli mistura in ambito Bayesiano nonparametrico sono modelli flessibili per stime di densità e clustering, ormai uno strumento di uso comune in ambito statistico applicato. Il primo modello introdotto in questo ambito è stato il processo di Dirichlet (DP) (Ferguson, 1973) combinato con un kernel Gaussiano(Lo, 1984). Recentemente è cresciuto l’interesse verso la definizione di modelli mistura basati su misure nonparametriche che generalizzano il DP. Tra le misure proposte, il processo di Pitman-Yor (PY) (Perman et al., 1992; Pitman, 1995) e, più in generale, la classe di Gibbs-type prior (see e.g. De Blasi et al., 2015) rappresentano generalizzazioni convenienti in grado di combinare trattabilità matematica, interpretabilità e flessibilità. In questa tesi investighiamo tre aspetti dei modelli mistura nonparametrici, in ordine, proprietà dei modelli, aspetti computazionali e proprietà distributive. La tesi è organizzata come segue. Il primo capitolo propone una revisione coincisa della statistica Bayesiana nonparametrica, con particolare attenzione a strumenti e modelli utili nei capitoli successivi. Introduciamo le nozioni di scambiabilità, partizioni scambiabili e random probability measure. Discutiamo quindi alcuni casi particolari, i processi DP e PY, ingredienti principali rispettivamente nel secondo e nel terzo capitolo. Infine discutiamo brevemente la logica dietro la definizione di classi più generali di priors nonparametriche discrete. Nel secondo capitolo proponiamo uno studio dell’effetto di trasformazioni affini invertibili dei dati sulla distribuzione a posteriori di modelli mistura DP, con particolare attenzione ai modelli con kernel Gaussiano (DPM-G). Introduciamo un risultato riguardante la specificazione dei parametri di un modello in relazione a trasformazioni dei dati. Successivamente formalizziamo la nozione di robustezza asintotica di un modello nel caso di trasformazioni affini dei dati e dimostriamo un risultato asintotico che, basandosi sulla consistenza asintotica di modelli DPM-G, mostra che, sotto alcune assunzioni sulla distribuzione che ha generato i dati, i modelli DPM-G sono asintoticamente robusti. Nel terzo capitolo presentiamo l’Importance Conditional Sampler (ICS), un nuovo schema di campionamento condizionale per modelli mistura PY, basato su una rappresentazione della distribuzione a posteriori di un processo PY (Pitman, 1996) e sull’idea di importance sampling, ispirandosi al passo augmentation del noto Algoritmo 8 di Neal (2000). Il metodo proposto combina convenientemente le migliori caratteristiche dei metodi esistenti, condizionali e marginali, per modelli mistura PY. A differenza di altri algoritmi condizionali, l’efficienza numerica dell’ICS è robusta rispetto alla specificazione dei parametri del PY. Gli step per implementare l’ICS sono descritti in dettaglio e le performance sono comparate con gli algoritmi più popolari. Infine l’ICS viene usato per definire un nuovo algoritmo efficiente per la classe di modelli mistura GM-dipendenti DP (Lijoi et al., 2014a; Lijoi et al., 2014b), per dati parzialmente scambiabili. Nel quarto capitolo studiamo alcune proprietà delle Gibbs-type priors. Il risultato principale riguarda un campione scambiabile estratto da una Gibbs-type prior e propone una rappresentazione conveniente della distribuzione della dimensione del cluster per l’osservazione (m+1)esima, dato un campione non osservato di ampiezza m. Dallo studio di questa distribuzione deriviamo una strategia, semplice ed utile, per elicitare i parametri di una Gibbs-type prior, nel contesto dei modelli mistura con una misura misturante Gibbs-type. I risultati negli ultimi tre capitoli sono supportati da esaustivi studi di simulazioni ed illustrazioni in ambito atronomico.