Hamilton–Jacobi equations for inference of matrix tensor products

Abstract

We study the high-dimensional limit of the free energy associated with the inference problem of finite-rank matrix tensor products. In general, we bound the limit from above by the unique solution to a certain Hamilton–Jacobi equation. Under additional assumptions on the nonlinearity in the equation which is determined explicitly by the model, we identify the limit with the solution. Two notions of solutions, weak solutions and viscosity solutions, are considered, each of which has its own advantages and requires different treatments. For concreteness, we apply our results to a model with i.i.d. entries and symmetric interactions. In particular, for the first order and even order tensor products, we identify the limit and obtain estimates on convergence rates; for other odd orders, upper bounds are obtained.

Nous étudions la limite en grande dimension de l’énergie libre associée au problème d’inférence de produits tensoriels de matrices de rang fini. En toute généralité, nous montrons que la limite est bornée supérieurement par la solution unique d’une certaine équation de Hamilton–Jacobi. Sous des hypothèses supplémentaires sur la non-linéarité de l’équation qui est déterminée explicitement en fonction du modèle, nous identifions la limite avec cette solution. Deux notions de solutions sont considérées, les solutions faibles et les solutions de viscosité, chacune ayant ses propres avantages et requérant une approche différente. Comme exemple concret, nous appliquons nos résultats à un modèle à coefficients i.i.d. et à interactions symétriques. En particulier, pour les produits tensoriels de premier ordre et d’ordre pair, nous identifions la limite et obtenons des estimées des vitesses de convergence. Pour les autres ordres impairs, nous obtenons des bornes supérieures.