Translator Disclaimer
February 2020 Empirical risk minimization as parameter choice rule for general linear regularization methods
Housen Li, Frank Werner
Ann. Inst. H. Poincaré Probab. Statist. 56(1): 405-427 (February 2020). DOI: 10.1214/19-AIHP966

Abstract

We consider the statistical inverse problem to recover $f$ from noisy measurements $Y=Tf+\sigma \xi $ where $\xi $ is Gaussian white noise and $T$ a compact operator between Hilbert spaces. Considering general reconstruction methods of the form $\hat{f}_{\alpha }=q_{\alpha }(T^{*}T)T^{*}Y$ with an ordered filter $q_{\alpha }$, we investigate the choice of the regularization parameter $\alpha $ by minimizing an unbiased estimate of the predictive risk $\mathbb{E}[\Vert Tf-T\hat{f}_{\alpha }\Vert^{2}]$. The corresponding parameter $\alpha_{\mathrm{pred}}$ and its usage are well-known in the literature, but oracle inequalities and optimality results in this general setting are unknown. We prove a (generalized) oracle inequality, which relates the direct risk $\mathbb{E}[\Vert f-\hat{f}_{\alpha_{\mathrm{pred}}}\Vert^{2}]$ with the oracle prediction risk $\inf_{\alpha >0}\mathbb{E}[\Vert Tf-T\hat{f}_{\alpha }\Vert^{2}]$. From this oracle inequality we are then able to conclude that the investigated parameter choice rule is of optimal order in the minimax sense.

Finally we also present numerical simulations, which support the order optimality of the method and the quality of the parameter choice in finite sample situations.

Nous considérons le problème inverse stochastique de reconstruire $f$ à partir de données bruitées $Y=Tf+\sigma \xi $ où $\xi $ est un bruite blanc et $T$ un opérateur compact entre espaces de Hilbert. Considérant des méthodes de reconstruction générales de la forme $\hat{f}_{\alpha }=q_{\alpha }(T^{*}T)T^{*}Y$ avec un filtre ordonné $q_{\alpha }$, nous examinons le choix du paramètre de régularisation $\alpha $ en minimisant un estimateur non biaisé du risque prédictif $\mathbb{E}[\Vert Tf-T\hat{f}_{\alpha }\Vert^{2}]$. Le paramètre correspondant $\alpha_{\mathrm{pred}}$ et son utilisation sont bien connus dans la littérature mais les inégalites oracles et les résultats d’optimalité dans ce cadre général sont inconnus. Nous prouvons une inégalité oracle (généralisée), qui relie le risque direct $\mathbb{E}[\Vert f-\hat{f}_{\alpha_{\mathrm{pred}}}\Vert^{2}]$ au risque de l’oracle de prédiction $\inf_{\alpha >0}\mathbb{E}[\Vert Tf-T\hat{f}_{\alpha }\Vert^{2}]$. A partir de cette inégalité oracle nous sommes alors capable de conclure que la règle de choix du paramètre examiné est d’ordre optimale au sens minimax.

Finalement nous présentons aussi des simulations numériques qui confirment l’optimalité de l’ordre de la méthode et la qualité du choix du paramètre dans des situations discrètes.

Citation

Download Citation

Housen Li. Frank Werner. "Empirical risk minimization as parameter choice rule for general linear regularization methods." Ann. Inst. H. Poincaré Probab. Statist. 56 (1) 405 - 427, February 2020. https://doi.org/10.1214/19-AIHP966

Information

Received: 22 March 2017; Revised: 4 July 2018; Accepted: 7 February 2019; Published: February 2020
First available in Project Euclid: 3 February 2020

zbMATH: 07199310
MathSciNet: MR4058993
Digital Object Identifier: 10.1214/19-AIHP966

Subjects:
Primary: 62G05, 62G20
Secondary: 65J20, 65J22

Rights: Copyright © 2020 Institut Henri Poincaré

JOURNAL ARTICLE
23 PAGES

This article is only available to subscribers.
It is not available for individual sale.
+ SAVE TO MY LIBRARY

SHARE
Vol.56 • No. 1 • February 2020
Back to Top