Efficient estimation of smooth functionals in Gaussian shift models

Abstract

We study a problem of estimation of smooth functionals of parameter θ of Gaussian shift model

$$\mathit{X}=\mathit{\theta }+\mathit{\xi },\mathit{\theta }\in \mathit{E},$$

where E is a separable Banach space and X is an observation of unknown vector θ in Gaussian noise ξ with zero mean and known covariance operator Σ. In particular, we develop estimators $\mathit{T}(\mathit{X})$ of $\mathit{f}(\mathit{\theta })$ for functionals $\mathit{f}:\mathit{E}\mapsto \mathbb{R}$ of Hölder smoothness $\mathit{s}>0$ such that

$$\underset{\Vert \mathit{\theta }\Vert \le 1}{sup}{\mathbb{E}}_{\mathit{\theta }}{(\mathit{T}(\mathit{X})-\mathit{f}(\mathit{\theta }))}^2\lesssim (\Vert \mathrm{\Sigma }\Vert \vee {(\mathbb{E}\Vert \mathit{\xi }{\Vert }^2)}^{\mathit{s}})\wedge 1,$$

where $\Vert \mathrm{\Sigma }\Vert$ is the operator norm of Σ, and show that this mean squared error rate is minimax optimal at least in the case of standard finite-dimensional Gaussian shift model ($\mathit{E}={\mathbb{R}}^{\mathit{d}}$ equipped with the canonical Euclidean norm, $\mathit{\xi }=\mathit{\sigma }\mathit{Z}$, $\mathit{Z}\sim \mathcal{N}(0;{\mathit{I}}_{\mathit{d}})$). Moreover, we determine a sharp threshold on the smoothness s of functional f such that, for all s above the threshold, $\mathit{f}(\mathit{\theta })$ can be estimated efficiently with a mean squared error rate of the order $\Vert \mathrm{\Sigma }\Vert$ in a “small noise” setting (that is, when $\mathbb{E}\Vert \mathit{\xi }{\Vert }^2$ is small). The construction of efficient estimators is crucially based on a “bootstrap chain” method of bias reduction. The results could be applied to a variety of special high-dimensional and infinite-dimensional Gaussian models (for vector, matrix and functional data).

Dans cet article, nous étudions le problème d’estimation de fonctionnelles lisses d’un paramètre θ dans le modèle gaussien suivant:

$$\mathit{X}=\mathit{\theta }+\mathit{\xi },\mathit{\theta }\in \mathit{E},$$

où E est un espace de Banach séparable, X est une observation du vecteur θ inconnu et le bruit ξ est gaussien de moyenne nulle et d’opérateur de covariance Σ connu. En particulier, nous développons des estimateurs $\mathit{T}(\mathit{X})$ de $\mathit{f}(\mathit{\theta })$ pour les fonctionnelles $\mathit{f}:\mathit{E}\mapsto \mathbb{R}$ de paramètre de régularité Hölderienne $\mathit{s}>0$ tels que

$$\underset{\Vert \mathit{\theta }\Vert \le 1}{sup}{\mathbb{E}}_{\mathit{\theta }}{(\mathit{T}(\mathit{X})-\mathit{f}(\mathit{\theta }))}^2\lesssim (\Vert \mathrm{\Sigma }\Vert \vee {(\mathbb{E}\Vert \mathit{\xi }{\Vert }^2)}^{\mathit{s}})\wedge 1,$$

où $\Vert \mathrm{\Sigma }\Vert$ est la norme d’opérateur de Σ, et nous montrons que cette estimation de l’erreur quadratique moyenne est minimax optimale au moins dans le cas du modèle gaussien de dimension finie avec une matrice de covariance identité ($\mathit{E}={\mathbb{R}}^{\mathit{d}}$ est muni de la norme euclidienne canonique $\mathit{\xi }=\mathit{\sigma }\mathit{Z}$, $\mathit{Z}\sim \mathcal{N}(0;{\mathit{I}}_{\mathit{d}})$). De plus, nous déterminons le seuil exact sur la régularité s de la fonctionnelle f tel que, pour tout s au-dessus de ce seuil, $\mathit{f}(\mathit{\theta })$ peut-être estimé efficacement avec une erreur quadratique moyenne de l’ordre $\Vert \mathrm{\Sigma }\Vert$ dans le régime de « bruit petit » (i.e. $\mathbb{E}\Vert \mathit{\xi }{\Vert }^2$ est petit). La construction des estimateurs efficaces est basée essentiellement sur une méthode de « chaîne bootstrap » pour la réduction du biais. Les résultats peuvent être appliqués à une grande variété de modèles gaussiens de dimension grande, voire infinie (pour les données vectorielles, matricielles et fonctionnelles).