Empirical risk minimization as parameter choice rule for general linear regularization methods

Abstract

We consider the statistical inverse problem to recover $f$ from noisy measurements $Y=Tf+\sigma \xi $ where $\xi $ is Gaussian white noise and $T$ a compact operator between Hilbert spaces. Considering general reconstruction methods of the form $\hat{f}_{\alpha }=q_{\alpha }(T^{*}T)T^{*}Y$ with an ordered filter $q_{\alpha }$, we investigate the choice of the regularization parameter $\alpha $ by minimizing an unbiased estimate of the predictive risk $\mathbb{E}[\Vert Tf-T\hat{f}_{\alpha }\Vert^{2}]$. The corresponding parameter $\alpha_{\mathrm{pred}}$ and its usage are well-known in the literature, but oracle inequalities and optimality results in this general setting are unknown. We prove a (generalized) oracle inequality, which relates the direct risk $\mathbb{E}[\Vert f-\hat{f}_{\alpha_{\mathrm{pred}}}\Vert^{2}]$ with the oracle prediction risk $\inf_{\alpha >0}\mathbb{E}[\Vert Tf-T\hat{f}_{\alpha }\Vert^{2}]$. From this oracle inequality we are then able to conclude that the investigated parameter choice rule is of optimal order in the minimax sense.

Finally we also present numerical simulations, which support the order optimality of the method and the quality of the parameter choice in finite sample situations.

Nous considérons le problème inverse stochastique de reconstruire $f$ à partir de données bruitées $Y=Tf+\sigma \xi $ où $\xi $ est un bruite blanc et $T$ un opérateur compact entre espaces de Hilbert. Considérant des méthodes de reconstruction générales de la forme $\hat{f}_{\alpha }=q_{\alpha }(T^{*}T)T^{*}Y$ avec un filtre ordonné $q_{\alpha }$, nous examinons le choix du paramètre de régularisation $\alpha $ en minimisant un estimateur non biaisé du risque prédictif $\mathbb{E}[\Vert Tf-T\hat{f}_{\alpha }\Vert^{2}]$. Le paramètre correspondant $\alpha_{\mathrm{pred}}$ et son utilisation sont bien connus dans la littérature mais les inégalites oracles et les résultats d’optimalité dans ce cadre général sont inconnus. Nous prouvons une inégalité oracle (généralisée), qui relie le risque direct $\mathbb{E}[\Vert f-\hat{f}_{\alpha_{\mathrm{pred}}}\Vert^{2}]$ au risque de l’oracle de prédiction $\inf_{\alpha >0}\mathbb{E}[\Vert Tf-T\hat{f}_{\alpha }\Vert^{2}]$. A partir de cette inégalité oracle nous sommes alors capable de conclure que la règle de choix du paramètre examiné est d’ordre optimale au sens minimax.

Finalement nous présentons aussi des simulations numériques qui confirment l’optimalité de l’ordre de la méthode et la qualité du choix du paramètre dans des situations discrètes.