On mean estimation for heteroscedastic random variables

Abstract

We study the problem of estimating the common mean μ of n independent symmetric random variables with different and unknown standard deviations ${\mathit{\sigma }}_1\le {\mathit{\sigma }}_2\le \cdots \le {\mathit{\sigma }}_{\mathit{n}}$. We show that, under some mild regularity assumptions on the distribution, there is an adaptive estimator $\hat{\mathit{\mu }}$ such that it is invariant to permutations of the elements of the sample and satisfies that, up to logarithmic factors, with high probability,

$$|\hat{\mathit{\mu }}-\mathit{\mu }|\lesssim min\{{\mathit{\sigma }}_{{\mathit{m}}^{\ast }},\frac{\sqrt{\mathit{n}}}{{\sum }_{\mathit{i}=\sqrt{\mathit{n}}}^{\mathit{n}}{\mathit{\sigma }}_{\mathit{i}}^{-1}}\},$$

where the index ${\mathit{m}}^{\ast }\lesssim \sqrt{\mathit{n}}$ satisfies ${\mathit{m}}^{\ast }\approx \sqrt{{\mathit{\sigma }}_{{\mathit{m}}^{\ast }}{\sum }_{\mathit{i}={\mathit{m}}^{\ast }}^{\mathit{n}}{\mathit{\sigma }}_{\mathit{i}}^{-1}}$.

Nous étudions le problème de l’estimation de la moyenne commune μ de n variables aléatoires symétriques indépendantes avec des écarts types différents et inconnus ${\mathit{\sigma }}_1\le {\mathit{\sigma }}_2\le \cdots \le {\mathit{\sigma }}_{\mathit{n}}$. Nous montrons que, sous faibles hypothèses de régularité sur la distribution, il existe un estimateur adaptatif $\hat{\mathit{\mu }}$ invariant par rapport aux permutations des éléments de l’échantillon qui satisfait à facteurs logarithmiques près et avec une grande probabilité

$$|\hat{\mathit{\mu }}-\mathit{\mu }|\lesssim min\{{\mathit{\sigma }}_{{\mathit{m}}^{\ast }},\frac{\sqrt{\mathit{n}}}{{\sum }_{\mathit{i}=\sqrt{\mathit{n}}}^{\mathit{n}}{\mathit{\sigma }}_{\mathit{i}}^{-1}}\},$$

où l’indice ${\mathit{m}}^{\ast }\lesssim \sqrt{\mathit{n}}$ satisfait ${\mathit{m}}^{\ast }\approx \sqrt{{\mathit{\sigma }}_{{\mathit{m}}^{\ast }}{\sum }_{\mathit{i}={\mathit{m}}^{\ast }}^{\mathit{n}}{\mathit{\sigma }}_{\mathit{i}}^{-1}}$.