Statistical limits of spiked tensor models

Abstract

We study the statistical limits of both detecting and estimating a rank-one deformation of a symmetric random Gaussian tensor. We establish upper and lower bounds on the critical signal-to-noise ratio, under a variety of priors for the planted vector: (i) a uniformly sampled unit vector, (ii) i.i.d. $\pm1$ entries, and (iii) a sparse vector where a constant fraction $\rho$ of entries are i.i.d. $\pm1$ and the rest are zero. For each of these cases, our upper and lower bounds match up to a $1+o(1)$ factor as the order $d$ of the tensor becomes large. For sparse signals (iii), our bounds are also asymptotically tight in the sparse limit $\rho\to0$ for any fixed $d$ (including the $d=2$ case of sparse PCA). Our upper bounds for (i) demonstrate a phenomenon reminiscent of the work of Baik, Ben Arous and Péché: an ‘eigenvalue’ of a perturbed tensor emerges from the bulk at a strictly lower signal-to-noise ratio than when the perturbation itself exceeds the bulk; we quantify the size of this effect. We also provide some general results for larger classes of priors. In particular, the large $d$ asymptotics of the threshold location differs between problems with discrete priors versus continuous priors. Finally, for priors (i) and (ii) we carry out the replica prediction from statistical physics, which is conjectured to give the exact information-theoretic threshold for any fixed $d$.

Of independent interest, we introduce a new improvement to the second moment method for contiguity, on which our lower bounds are based. Our technique conditions away from rare ‘bad’ events that depend on interactions between the signal and noise. This enables us to close $\sqrt{2}$-factor gaps present in several previous works.

Nous étudions les limites statistiques pour détecter et estimer une déformation de rang un d’un tenseur Gaussien symétrique aléatoire. Nous établissons une borne inférieure et une borne supérieure sur le rapport signal-bruit critique, sous diverses lois a priori pour le vecteur planté: (i) un vecteur unité aléatoire uniforme, (ii) des entrées i.i.d. $\pm1$, et (iii) un vecteur creux où une fraction constante $\rho$ d’entrées sont i.i.d. $\pm1$ et les autres nulles. Pour chacun de ces cas, nos bornes supérieures et inférieures coïncident à un facteur $1+o(1)$ près quand l’ordre $d$ du tenseur devient grand. Pour des signaux creux (iii), nos bornes sont aussi asymptotiquement tendues dans la limite $\rho\to0$ pour tout $d$ fixé (incluant le cas $d=2$ du PCA creux). Notre borne supérieure pour (i) montre un phénomène rappelant le travail de Baik, Ben Arous et Péché: une valeur propre du tenseur perturbé émerge de l’intérieur du spectre à un rapport signal-bruit strictement inférieur que quand la perturbation elle-même sort de l’intérieur du spectre; nous quantifions la taille de cet effet. Nous donnons aussi des résultats généraux pour une grande classe de lois a priori. En particulier, l’asymptotique quand $d$ devient grand de la valeur de seuil diffère entre les problèmes avec lois a priori discrètes et continues. Finalement, pour les lois a priori (i) et (ii), nous vérifions la prédiction issue de la méthode des répliques en physique statistique, qui est conjecturée donner l’information théorique exacte sur le seuil pour tout $d$ fixé.

D’un intérêt indépendant, nous introduisons une amélioration à la méthode du second moment par contiguïté, sur laquelle notre borne inférieure est basée. Notre méthode conditionne loin les rares « mauvais » événements qui dépendent des interactions entre le signal et le bruit. Ceci nous permet de résoudre le trou de facteur $\sqrt{2}$ présent dans les articles précédents.