Excited random walks with Markovian cookie stacks

Abstract

We consider a nearest-neighbor random walk on $\mathbb{Z}$ whose probability $\omega_{x}(j)$ to jump to the right from site $x$ depends not only on $x$ but also on the number of prior visits $j$ to $x$. The collection $(\omega_{x}(j))_{x\in\mathbb{Z},j\ge1}$ is sometimes called the “cookie environment” due to the following informal interpretation. Upon each visit to a site the walker eats a cookie from the cookie stack at that site and chooses the transition probabilities according to the “strength” of the cookie eaten. We assume that the cookie stacks are i.i.d. and that the cookie “strengths” within the stack $(\omega_{x}(j))_{j\ge1}$ at site $x$ follow a finite state Markov chain. Thus, the environment at each site is dynamic, but it evolves according to the local time of the walk at each site rather than the original random walk time.

The model admits two different regimes, critical or non-critical, depending on whether the expected probability to jump to the right (or left) under the invariant measure for the Markov chain is equal to $1/2$ or not. We show that in the non-critical regime the walk is always transient, has non-zero linear speed, and satisfies the classical central limit theorem. The critical regime allows for a much more diverse behavior. We give necessary and sufficient conditions for recurrence/transience and ballisticity of the walk in the critical regime as well as a complete characterization of limit laws under the averaged measure in the transient case.

The setting considered in this paper generalizes the previously studied model with periodic cookie stacks [Excited random walk with periodic cookies (2014) Preprint]. Our results on ballisticity and limit theorems are new even for the periodic model.

Nous considérons une marche aléatoire au plus proche voisin sur $\mathbb{Z}$ dont la probabilité $\omega_{x}(j)$ de sauter à droite du site $x$ ne dépend pas seulement de $x$ mais aussi du nombre $j$ de visites antérieures en $x$. La collection $(\omega_{x}(j))_{x\in\mathbb{Z},j\ge1}$ est parfois nommée « l’environnement cookie » à cause de l’interprétation suivante. À chaque visite d’un site le marcheur mange un cookie de la pile de cookie à ce site et choisi la probabilitéé de transition en fonction de la force du cookie qui a été mangé. Nous supposons que les piles de cookie sont i.i.d. et que la force des cookies à l’intérieur de la pile $(\omega_{x}(j))_{j\ge1}$ au site $x$ est une chaine de Markov à espace d’états fini. Par conséquent l’environnement à chaque site est dynamique mais évolue en fonction du temps local de la marche à chaque site, plutôt que le temps propre de la marche aléatoire originale.

Le modèle admet deux régimes différents, critique ou non critique, dépendant du fait que la probabilité sous la mesure invariante de la chaine de Markov de sauter à droite (ou à gauche) est égale à $1/2$ ou non. Nous montrons que dans le régime non-critique la marche est toujours transiente, a une vitesse déchappement linéaire et satisfait le théorème de la limite centrale. Le régime critique a beaucoup plus de variantes possibles. Nous donnons alors des conditions nécessaires et suffisantes pour la recurrence/transience de la marche et une caractérisation complète des lois limites possibles sous la mesure moyennisée dans le cas transient.

Le cadre de ce papier généralise le modèle étudié précédemment où les piles de cookies étaient périodiques [Excited random walk with periodic cookies (2014) Preprint]. Nos résultats sur la ballisticité et les théorèmes limites sont nouveaux même pour le modèle périodique.