On particle Gibbs samplers

Abstract

This article analyses a new class of advanced particle Markov chain Monte Carlo algorithms recently introduced by Andrieu, Doucet and Holenstein (J. R. Stat. Soc. Ser. B Stat. Methodol. 72 (2010) 1–269). We present a natural interpretation of these methods in terms of well known unbiasedness properties of Feynman–Kac particle measures, and a new duality with Feynman–Kac models.

This perspective sheds new light on the foundations and the mathematical analysis of this class of methods. A key consequence is their equivalence with the Gibbs sampling of a many-body Feynman–Kac target distribution. Our approach also presents a new stochastic differential calculus based on geometric combinatorial techniques. These techniques allow us to derive non-asymptotic Taylor type series for the semigroup of a class of particle Markov chain Monte Carlo models around their invariant measures with respect to the population size of the auxiliary particle sampler.

These results provide sharp quantitative estimates of the convergence rate to equilibrium of the models with respect to the time horizon and the size of the systems. We illustrate the direct implication of these results with sharp estimates of the contraction coefficient and the Lyapunov exponent of the corresponding samplers, and explicit and non-asymptotic $\mathbb{L}_{p}$-mean error decompositions of the law of the random states around the limiting invariant measure. The abstract framework developed in the article also allows the design of natural extensions to island (also called $\mathrm{SMC}^{2}$) type particle methodologies.

We illustrate this general framework and results in the context of nonlinear filtering, hidden Markov chain problems with fixed unknown parameters, and Feynman–Kac path-integration models arising in computational quantum physics and molecular chemistry.

Cet article analyse une classe de méthodes de Monte Carlo avancées de type particulaire introduites par Andrieu, Doucet, et Holenstein (J. R. Stat. Soc. Ser. B Stat. Methodol. 72 (2010) 1–269). Nous présentons une interprétation naturelle de ces méthodes en termes de mesures de Feynman–Kac particulaires non biaisées classiques et d’une nouvelle formule de dualité entre modèles de Feynman–Kac.

Ce cadre d’étude apporte un nouvel éclairage sur les fondations et l’analyse mathématique de ces méthodes. Une conséquence importante est l’équivalence de ces dernières avec la méthode d’échantillonnage de Gibbs d’une distribution de Feynman–Kac multi-corps. Notre étude développe aussi un nouveau calcul différentiel stochastique fondé sur des techniques géométriques et combinatoires. Ces techniques permettent d’obtenir des développements non asymptotiques des semigroupes de modèles de Monte Carlo par Chaînes de Markov particulaires autour de leur mesure invariante, en fonction de la taille des systèmes de particules en interaction auxiliaires.

Cette analyse conduit à des estimations quantitatives précises de la convergence à l’équilibre de ces modèles par rapport à l’horizon temporel et la taille des systèmes. Nous illustrons ces résultats avec quelques implications directes, notamment l’estimation précise des coefficients de contraction et des exposants de Lyapunov de ces algorithmes de simulation, ainsi que l’estimation fine de l’erreur en norme $\mathbb{L}_{p}$ entre la loi des états aléatoires de ces chaînes de Markov et leur mesure d’équilibre. Le cadre abstrait de l’article permet d’élaborer et d’étendre de façon naturelle ces méthodes à des classes d’algorithmes fondés sur des évolutions d’ilôts particulaires (aussi connus sous le nom $\mathrm{SMC}^{2}$).

Nous montrons enfin comment ce cadre général et les résultats de l’article s’appliquent à l’étude de problèmes de filtrage non linéaire, l’estimation de paramètres fixes dans des modèles de chaînes de Markov cachées, et dans des problèmes d’integration trajectorielle rencontrés en physique quantique et en chimie moléculaire.