The power of averaging at two consecutive time steps: Proof of a mixing conjecture by Aldous and Fill

Abstract

Let $(X_{t})_{t=0}^{\infty}$ be an irreducible reversible discrete-time Markov chain on a finite state space $\Omega$. Denote its transition matrix by $P$. To avoid periodicity issues (and thus ensuring convergence to equilibrium) one often considers the continuous-time version of the chain $(X_{t}^{\mathrm{c}})_{t\ge0}$ whose kernel is given by $H_{t}:=e^{-t}\sum_{k}(tP)^{k}/k!$. Another possibility is to consider the associated averaged chain $(X_{t}^{\mathrm{ave}})_{t=0}^{\infty}$, whose distribution at time $t$ is obtained by replacing $P^{t}$ by $A_{t}:=(P^{t}+P^{t+1})/2$.

A sequence of Markov chains is said to exhibit (total-variation) cutoff if the convergence to stationarity in total-variation distance is abrupt. Let $(X_{t}^{(n)})_{t=0}^{\infty}$ be a sequence of irreducible reversible discrete-time Markov chains. In this work we prove that the sequence of associated continuous-time chains exhibits total-variation cutoff around time $t_{n}$ iff the sequence of the associated averaged chains exhibits total-variation cutoff around time $t_{n}$. Moreover, we show that the width of the cutoff window for the sequence of associated averaged chains is at most that of the sequence of associated continuous-time chains. In fact, we establish more precise quantitative relations between the mixing-times of the continuous-time and the averaged versions of a reversible Markov chain, which provide an affirmative answer to a problem raised by Aldous and Fill [2002, Open Problem 4.17].

Soit $(X_{t})_{t=0}^{\infty}$ une chaîne de Markov en temps discret, irréductible et réversible, à valeurs dans un espace d’états fini $\Omega$. Soit $P$ sa matrice de transition. Pour éviter les problèmes de périodicité (et ainsi garantir la convergence vers l’équilibre), on considère souvent la version à temps continu $(X_{t}^{\mathrm{c}})_{t\ge0}$, dont le noyau est donné par $H_{t}:=e^{-t}\sum_{k}(tP)^{k}/k!$. Une alternative consiste à considérer la chaîne moyennée $(X_{t}^{\mathrm{ave}})_{t=0}^{\infty}$, dont la loi au temps $t$ est obtenue en remplaçant $P^{t}$ par $A_{t}:=(P^{t}+P^{t+1})/2$.

Pour une suite de chaînes de Markov, on parle de cutoff (en variation totale) lorsque la convergence à l’équilibre (mesurée par la distance en variation totale) est abrupte. Soit $(X_{t}^{(n)})_{t=0}^{\infty}$ une suite de chaînes irréductibles et réversibles à temps discret. Dans ce travail, nous montrons que la suite de chaînes à temps continu associées satisfait un cutoff en variation totale au temps $t_{n}$ si et seulement si la suite de chaînes moyennées associées satisfait un cutoff en variation totale au temps $t_{n}$. De plus, nous montrons que la largeur de la fenêtre de cutoff pour la suite de chaînes moyennées est majorée par celle de la suite de chaînes à temps continu. Nous établissons en fait des relations quantitatives plus précises entre les temps de mélange de la version moyennée et de la version à temps continu d’une chaîne de Markov réversible quelconque. Cela répond de manière affirmative à une question soulevée par Aldous et Fill [2002, Open Problem 4.17].