Asymptotics of maximum likelihood estimators based on Markov chain Monte Carlo methods

Abstract

In complex statistical models, in which exact computation of the likelihood is intractable, Monte Carlo methods can be applied to approximate maximum likelihood estimates. In this paper we consider approximation obtained via Markov chain Monte Carlo. We prove consistency and asymptotic normality of the resulting estimator, when both sample sizes (the initial and Monte Carlo one) tend to infinity. Our results can be applied to models with intractable normalizing constants and missing data models. We also investigate properties of estimators in numerical experiments.

Afin d’inférer de nombreux modèles statistiques, pour lesquels le calcul exact de la vraisemblance n’est pas possible, de nombreuses méthodes peuvent être cependant mises en place pour obtenir des estimées du maximum de vraisemblance. Ces méthodes pour la plupart sont basées sur des approches de type Monte Carlo. Dans cet article, nous considérons une approche à partir de méthodes de Monte Carlo par chaînes de Markov pour lesquelles nous montrons la consistance et la normalité asymptotique de l’estimateur ainsi défini. Nos résultats peuvent s’appliquer à de nombreux modèles pour lesquels la constante de normalisation n’est pas calculable ou est à données manquantes. Nous illustrons enfin cela à partir des nombreuses expériences numériques.