Constant payoff in zero-sum stochastic games

Abstract

In a zero-sum stochastic game, at each stage, two adversary players take decisions and receive a stage payoff determined by them and by a controlled random variable representing the state of nature. The total payoff is the normalized discounted sum of the stage payoffs. In this paper we solve the “constant payoff” conjecture formulated by Sorin, Venel and Vigeral (Sankhya A 72 (1) (2010) 237–245): if both players use optimal strategies, then for any $\mathit{\alpha }>0$, the expected discounted payoff between stage 1 and stage $\mathit{\alpha }/\mathit{\lambda }$ tends to the limit discounted value of the game, as the discount rate λ goes to 0.

Dans un jeu stochastique à somme nulle, à chaque étape, deux joueurs adversaires prennent des décisions et reçoivent un paiement d’étape déterminé par ces décisions, ainsi que par une variable aléatoire contrôlée qui représente l’état de la nature. Le paiement total est la somme escomptée et normalisée des paiements d’étape. Dans cet article, nous résolvons la conjecture du “paiement constant”, formulée par Sorin, Venel et Vigeral (Sankhya A 72 (1) (2010) 237–245) : si les deux joueurs jouent des stratégies optimales, alors pour tout $\mathit{\alpha }>0$, l’espérance du paiement escompté entre les étapes 1 et $\mathit{\alpha }/\mathit{\lambda }$ tend vers la limite de la valeur escomptée du jeu, lorsque le facteur d’escompte λ tend vers 0.