Adaptive Dantzig density estimation

Abstract

The aim of this paper is to build an estimate of an unknown density as a linear combination of functions of a dictionary. Inspired by Candès and Tao’s approach, we propose a minimization of the ℓ₁-norm of the coefficients in the linear combination under an adaptive Dantzig constraint coming from sharp concentration inequalities. This allows to consider a wide class of dictionaries. Under local or global structure assumptions, oracle inequalities are derived. These theoretical results are transposed to the adaptive Lasso estimate naturally associated to our Dantzig procedure. Then, the issue of calibrating these procedures is studied from both theoretical and practical points of view. Finally, a numerical study shows the significant improvement obtained by our procedures when compared with other classical procedures.

L’objectif de cet article est de construire un estimateur d’une densité inconnue comme combinaison linéaire de fonctions d’un dictionnaire. Inspirés par l’approche de Candès et Tao, nous proposons une minimisation de la norme ℓ₁ des coefficients dans la combinaison linéaire sous une contrainte de Dantzig adaptative issue d’inégalités de concentration précises. Ceci nous permet de considérer une large classe de dictionnaires. Sous des hypothèses de structure locale ou globale, nous obtenons des inégalités oracles. Ces résultats théoriques sont transposés à l’estimateur Lasso adaptatif naturellement associé à notre procédure de Dantzig. Le problème de la calibration de ces procédures est alors étudié à la fois du point de vue théorique et du point de vue pratique. Enfin, une étude numérique montre l’amélioration significative obtenue par notre procédure en comparaison d’autres procédures plus classiques.