Sparse space–time models: Concentration inequalities and Lasso

Abstract

Inspired by Kalikow-type decompositions, we introduce a new stochastic model of infinite neuronal networks, for which we establish sharp oracle inequalities for Lasso methods and restricted eigenvalue properties for the associated Gram matrix with high probability. These results hold even if the network is only partially observed. The main argument rely on the fact that concentration inequalities can easily be derived whenever the transition probabilities of the underlying process admit a sparse space–time representation.

En s’inspirant des décompositions de Kalikow, nous introduisons un nouveau modèle de réseaux neuronaux infinis, pour lesquels nous établissons des inégalités d’oracle précises pour des méthodes Lasso et des propriétés de valeur propre restreinte pour la matrice de Gram associée avec grande probabilité. Ces résultats sont vrais même si le réseau n’est que partiellement observé. L’argument principal est d’établir des inégalités de concentration quand les probabilités de transition sous-jacentes ont une représentation parcimonieuse en temps et espace.