Exponential weights in multivariate regression and a low-rankness favoring prior

Abstract

We establish theoretical guarantees for the expected prediction error of the exponentially weighted aggregate in the case of multivariate regression that is when the label vector is multidimensional. We consider the regression model with fixed design and bounded noise. The first new feature uncovered by our guarantees is that it is not necessary to require independence of the observations: a symmetry condition on the noise distribution alone suffices to get a sharp risk bound. This result needs the regression vectors to be bounded. A second curious finding concerns the case of unbounded regression vectors but independent noise. It turns out that applying exponential weights to the label vectors perturbed by a uniform noise leads to an estimator satisfying a sharp oracle inequality. The last contribution is the instantiation of the proposed oracle inequalities to problems in which the unknown parameter is a matrix. We propose a low-rankness favoring prior and show that it leads to an estimator that is optimal under weak assumptions.

Nous établissons des garanties théoriques pour l’erreur de prédiction de l’agrégat par poids exponentiels dans le cadre de la régression multivariée, c’est-à-dire lorsqu’on souhaite prédire une étiquette multidimensionnelle. Nous considérons le modèle de régression à design fixe et à bruit borné. La première conséquence de nos garanties est qu’il n’est pas nécessaire d’exiger l’indépendance des observations : une condition de symétrie sur la seule distribution du bruit suffit pour obtenir des bornes précises. Ce résultat nécessite que les vecteurs de régression soient bornées. Une seconde conséquence curieuse concerne le cas des vecteurs de régression non bornés mais indépendant de bruit. Il s’avère que l’application des poids exponentiels aux vecteurs d’étiquette perturbés par un bruit uniforme conduit à un estimateur satisfaisant une inégalité d’oracle exacte. La dernière contribution est l’instanciation des inégalités d’oracle proposées à des problèmes dans lesquels le paramètre inconnu est une matrice. Nous proposons une loi a priori favorisant les matrices à faible rang et montrons qu’elle conduit à un estimateur optimal sous des hypothèses faibles.