Variational multiscale nonparametric regression: Smooth functions

Abstract

For the problem of nonparametric regression of smooth functions, we reconsider and analyze a constrained variational approach, which we call the MultIscale Nemirovski–Dantzig (MIND) estimator. This can be viewed as a multiscale extension of the Dantzig selector (Ann. Statist. 35 (2009) 2313–2351) based on early ideas of Nemirovski (J. Comput. System Sci. 23 (1986) 1–11). MIND minimizes a homogeneous Sobolev norm under the constraint that the multiresolution norm of the residual is bounded by a universal threshold. The main contribution of this paper is the derivation of convergence rates of MIND with respect to $L^{q}$-loss, $1\le q\le\infty $, both almost surely and in expectation. To this end, we introduce the method of approximate source conditions. For a one-dimensional signal, these can be translated into approximation properties of B-splines. A remarkable consequence is that MIND attains almost minimax optimal rates simultaneously for a large range of Sobolev and Besov classes, which provides certain adaptation. Complimentary to the asymptotic analysis, we examine the finite sample performance of MIND by numerical simulations. A MATLAB package is available online.

Dans le cadre du problème de la régression paramétrique de fonctions lisses, nous revisitons et analysons une approche variationnelle contrainte, que nous appelons l’estimateur de Nemirovski–Dantzig multi-échelle (MIND). Il peut être vu comme une extension multi-échelle du sélecteur de Dantzig (Ann. Statist. 35 (2009) 2313–2351), reposant sur des idées antérieures de Nemirovski (J. Comput. System Sci. 23 (1986) 1–11). MIND minimise une norme de Sobolev homogène sous la contrainte que la norme multi-résolution du terme résiduel est bornée par un seuil universel. La contribution principale de cet article est d’obtenir des vitesses de convergence de MIND pour une norme $L^{q},1\leq q\leq \infty $, à la fois p.s. et en moyenne. À cette fin, nous introduisons la méthode des conditions de sources approximées. Dans le cas d’un signal unidimensionnel, on peut exprimer ces dernières en termes de propriétés d’approximation de B-splines. Une conséquence remarquable est que MIND atteint presque des taux minimax optimaux simultanément pour un large ensemble d’espaces de Sobolev et Besov, ce qui montre une adaptabilité certaine. En plus de l’analyse asymptotique, nous étudions la performance de MIND pour un échantillon fini à l’aide de simulations numériques. Un package MATLAB est disponible en ligne.