Estimation of the transition density of a Markov chain

Abstract

We present two data-driven procedures to estimate the transition density of an homogeneous Markov chain. The first yields a piecewise constant estimator on a suitable random partition. By using an Hellinger-type loss, we establish non-asymptotic risk bounds for our estimator when the square root of the transition density belongs to possibly inhomogeneous Besov spaces with possibly small regularity index. Some simulations are also provided. The second procedure is of theoretical interest and leads to a general model selection theorem from which we derive rates of convergence over a very wide range of possibly inhomogeneous and anisotropic Besov spaces. We also investigate the rates that can be achieved under structural assumptions on the transition density.

Nous présentons deux procédures pour estimer la densité de transition d’une chaîne de Markov homogène. Dans la première procédure, nous construisons un estimateur constant par morceaux sur une partition aléatoire bien choisie. Nous établissons des bornes de risque non-asymptotiques pour une perte de type Hellinger lorsque la racine carrée de la densité de transition appartient à un espace de Besov inhomogène dont l’indice de régularité peut être petit. Nous illustrons ces résultats par des simulations numériques. La deuxième procédure est d’intérêt théorique. Elle permet d’obtenir un théorème de sélection de modèle à partir duquel nous déduisons des vitesses de convergence sur des espaces de Besov inhomogènes anisotropes. Nous étudions finalement les vitesses qui peuvent être atteintes sous des hypothèses structurelles sur la densité de transition.