Translator Disclaimer
May 2018 Degrees of freedom for piecewise Lipschitz estimators
Frederik Riis Mikkelsen, Niels Richard Hansen
Ann. Inst. H. Poincaré Probab. Statist. 54(2): 819-841 (May 2018). DOI: 10.1214/17-AIHP822

Abstract

A representation of the degrees of freedom akin to Stein’s lemma is given for a class of estimators of a mean value parameter in $\mathbb{R}^{n}$. Contrary to previous results our representation holds for a range of discontinues estimators. It shows that even though the discontinuities form a Lebesgue null set, they cannot be ignored when computing degrees of freedom. Estimators with discontinuities arise naturally in regression if data driven variable selection is used. Two such examples, namely best subset selection and lasso-OLS, are considered in detail in this paper. For lasso-OLS the general representation leads to an estimate of the degrees of freedom based on the lasso solution path, which in turn can be used for estimating the risk of lasso-OLS. A similar estimate is proposed for best subset selection. The usefulness of the risk estimates for selecting the number of variables is demonstrated via simulations with a particular focus on lasso-OLS.

Une représentation des degrés de liberté comparable au lemme de Stein est donnée pour une classe d’estimateurs du paramètre de la moyenne dans $\mathbb{R}^{n}$. Contrairement aux résultats précédents, notre représentation est valable pour une famille d’estimateurs discontinus. Cela montre que même si les discontinuités sont de mesure de Lebesgue zéro, elles ne peuvent pas être ignorées lors du calcul des degrés de liberté. Les estimateurs avec discontinuités apparaissent naturellement dans les modèles de régression si de la sélection de variables par les données est utilisée. Deux tels exemples, la sélection du meilleur sous-ensemble et le lasso-OLS, sont considérés en détail dans l’article. Pour le Lasso-OLS, la représentation générale mène à une estimation des degrés de liberté basée sur le chemin de la solution Lasso, qui à son tour peut être utilisée pour estimer le risque du lasso-OLS. Une estimation similaire est proposée pour la sélection du meilleur sous-ensemble. L’utilité des estimées de risque pour le choix du nombre de variables est démontrée par des simulations qui se concentrent en particulier sur lasso-OLS.

Citation

Download Citation

Frederik Riis Mikkelsen. Niels Richard Hansen. "Degrees of freedom for piecewise Lipschitz estimators." Ann. Inst. H. Poincaré Probab. Statist. 54 (2) 819 - 841, May 2018. https://doi.org/10.1214/17-AIHP822

Information

Received: 10 June 2016; Revised: 10 February 2017; Accepted: 22 February 2017; Published: May 2018
First available in Project Euclid: 25 April 2018

zbMATH: 06897969
MathSciNet: MR3795067
Digital Object Identifier: 10.1214/17-AIHP822

Subjects:
Primary: 62J05, 62J07

Rights: Copyright © 2018 Institut Henri Poincaré

JOURNAL ARTICLE
23 PAGES

This article is only available to subscribers.
It is not available for individual sale.
+ SAVE TO MY LIBRARY

SHARE
Vol.54 • No. 2 • May 2018
Back to Top