Mean mutual information and symmetry breaking for finite random fields

Abstract

G. Edelman, O. Sporns and G. Tononi have introduced the neural complexity of a family of random variables, defining it as a specific average of mutual information over subfamilies. We show that their choice of weights satisfies two natural properties, namely invariance under permutations and additivity, and we call any functional satisfying these two properties an intricacy. We classify all intricacies in terms of probability laws on the unit interval and study the growth rate of maximal intricacies when the size of the system goes to infinity. For systems of a fixed size, we show that maximizers have small support and exchangeable systems have small intricacy. In particular, maximizing intricacy leads to spontaneous symmetry breaking and lack of uniqueness.

G. Edelman, O. Sporns and G. Tononi ont introduit la complexité neuronale d’une famille de variables aléatoires, définie comme une certaine moyenne de l’information mutuelle de ses sous-familles. On montre ici que leur choix des poids satisfait deux propriétés naturelles: l’invariance par permutations et l’additivité. Nous appelons toute fonctionnelle satisfaisant ces deux propriétés une intrication. Nous classifions toutes les intrications en termes de mesures de probabilité sur l’intervalle unité et nous étudions le taux de croissance du maximum de l’intrication quand la taille du système tend vers l’infini. Pour un système de taille fixée, nous montrons que les maximiseurs ont un petit support et que les systèmes échangeables ont une petite intrication. En particulier, maximiser l’intrication mène à une rupture spontanée de symétrie et il n’y a pas d’unicité.