Translator Disclaimer
May 2020 Exponential weights in multivariate regression and a low-rankness favoring prior
Arnak S. Dalalyan
Ann. Inst. H. Poincaré Probab. Statist. 56(2): 1465-1483 (May 2020). DOI: 10.1214/19-AIHP1010

Abstract

We establish theoretical guarantees for the expected prediction error of the exponentially weighted aggregate in the case of multivariate regression that is when the label vector is multidimensional. We consider the regression model with fixed design and bounded noise. The first new feature uncovered by our guarantees is that it is not necessary to require independence of the observations: a symmetry condition on the noise distribution alone suffices to get a sharp risk bound. This result needs the regression vectors to be bounded. A second curious finding concerns the case of unbounded regression vectors but independent noise. It turns out that applying exponential weights to the label vectors perturbed by a uniform noise leads to an estimator satisfying a sharp oracle inequality. The last contribution is the instantiation of the proposed oracle inequalities to problems in which the unknown parameter is a matrix. We propose a low-rankness favoring prior and show that it leads to an estimator that is optimal under weak assumptions.

Nous établissons des garanties théoriques pour l’erreur de prédiction de l’agrégat par poids exponentiels dans le cadre de la régression multivariée, c’est-à-dire lorsqu’on souhaite prédire une étiquette multidimensionnelle. Nous considérons le modèle de régression à design fixe et à bruit borné. La première conséquence de nos garanties est qu’il n’est pas nécessaire d’exiger l’indépendance des observations : une condition de symétrie sur la seule distribution du bruit suffit pour obtenir des bornes précises. Ce résultat nécessite que les vecteurs de régression soient bornées. Une seconde conséquence curieuse concerne le cas des vecteurs de régression non bornés mais indépendant de bruit. Il s’avère que l’application des poids exponentiels aux vecteurs d’étiquette perturbés par un bruit uniforme conduit à un estimateur satisfaisant une inégalité d’oracle exacte. La dernière contribution est l’instanciation des inégalités d’oracle proposées à des problèmes dans lesquels le paramètre inconnu est une matrice. Nous proposons une loi a priori favorisant les matrices à faible rang et montrons qu’elle conduit à un estimateur optimal sous des hypothèses faibles.

Citation

Download Citation

Arnak S. Dalalyan. "Exponential weights in multivariate regression and a low-rankness favoring prior." Ann. Inst. H. Poincaré Probab. Statist. 56 (2) 1465 - 1483, May 2020. https://doi.org/10.1214/19-AIHP1010

Information

Received: 12 July 2018; Revised: 4 March 2019; Accepted: 6 June 2019; Published: May 2020
First available in Project Euclid: 16 March 2020

zbMATH: 07199905
MathSciNet: MR4076791
Digital Object Identifier: 10.1214/19-AIHP1010

Subjects:
Primary: 62J05
Secondary: 62H12

Rights: Copyright © 2020 Institut Henri Poincaré

JOURNAL ARTICLE
19 PAGES

This article is only available to subscribers.
It is not available for individual sale.
+ SAVE TO MY LIBRARY

SHARE
Vol.56 • No. 2 • May 2020
Back to Top