Translator Disclaimer
May 2018 Variational multiscale nonparametric regression: Smooth functions
Markus Grasmair, Housen Li, Axel Munk
Ann. Inst. H. Poincaré Probab. Statist. 54(2): 1058-1097 (May 2018). DOI: 10.1214/17-AIHP832

Abstract

For the problem of nonparametric regression of smooth functions, we reconsider and analyze a constrained variational approach, which we call the MultIscale Nemirovski–Dantzig (MIND) estimator. This can be viewed as a multiscale extension of the Dantzig selector (Ann. Statist. 35 (2009) 2313–2351) based on early ideas of Nemirovski (J. Comput. System Sci. 23 (1986) 1–11). MIND minimizes a homogeneous Sobolev norm under the constraint that the multiresolution norm of the residual is bounded by a universal threshold. The main contribution of this paper is the derivation of convergence rates of MIND with respect to $L^{q}$-loss, $1\le q\le\infty $, both almost surely and in expectation. To this end, we introduce the method of approximate source conditions. For a one-dimensional signal, these can be translated into approximation properties of B-splines. A remarkable consequence is that MIND attains almost minimax optimal rates simultaneously for a large range of Sobolev and Besov classes, which provides certain adaptation. Complimentary to the asymptotic analysis, we examine the finite sample performance of MIND by numerical simulations. A MATLAB package is available online.

Dans le cadre du problème de la régression paramétrique de fonctions lisses, nous revisitons et analysons une approche variationnelle contrainte, que nous appelons l’estimateur de Nemirovski–Dantzig multi-échelle (MIND). Il peut être vu comme une extension multi-échelle du sélecteur de Dantzig (Ann. Statist. 35 (2009) 2313–2351), reposant sur des idées antérieures de Nemirovski (J. Comput. System Sci. 23 (1986) 1–11). MIND minimise une norme de Sobolev homogène sous la contrainte que la norme multi-résolution du terme résiduel est bornée par un seuil universel. La contribution principale de cet article est d’obtenir des vitesses de convergence de MIND pour une norme $L^{q},1\leq q\leq \infty $, à la fois p.s. et en moyenne. À cette fin, nous introduisons la méthode des conditions de sources approximées. Dans le cas d’un signal unidimensionnel, on peut exprimer ces dernières en termes de propriétés d’approximation de B-splines. Une conséquence remarquable est que MIND atteint presque des taux minimax optimaux simultanément pour un large ensemble d’espaces de Sobolev et Besov, ce qui montre une adaptabilité certaine. En plus de l’analyse asymptotique, nous étudions la performance de MIND pour un échantillon fini à l’aide de simulations numériques. Un package MATLAB est disponible en ligne.

Citation

Download Citation

Markus Grasmair. Housen Li. Axel Munk. "Variational multiscale nonparametric regression: Smooth functions." Ann. Inst. H. Poincaré Probab. Statist. 54 (2) 1058 - 1097, May 2018. https://doi.org/10.1214/17-AIHP832

Information

Received: 4 December 2015; Revised: 27 February 2017; Accepted: 20 March 2017; Published: May 2018
First available in Project Euclid: 25 April 2018

zbMATH: 06897979
MathSciNet: MR3795077
Digital Object Identifier: 10.1214/17-AIHP832

Subjects:
Primary: 62G08, 62G20
Secondary: 90C25

Rights: Copyright © 2018 Institut Henri Poincaré

JOURNAL ARTICLE
40 PAGES


SHARE
Vol.54 • No. 2 • May 2018
Back to Top