Entropy and expansion

Abstract

Shearer’s inequality bounds the sum of joint entropies of random variables in terms of the total joint entropy. We give another lower bound for the same sum in terms of the individual entropies when the variables are functions of independent random seeds. The inequality involves a constant characterizing the expansion properties of the system.

Our results generalize to entropy inequalities used in recent work in invariant settings, including the edge-vertex inequality for factor-of-IID processes, Bowen’s entropy inequalities, and Bollobás’s entropy bounds in random regular graphs.

The proof method yields inequalities for other measures of randomness, including covariance.

As an application, we give upper bounds for independent sets in both finite and infinite graphs.

L’inégalité de Shearer limite la somme des entropies conjointes de variables aléatoires en termes d’entropie conjointe totale. Nous donnons une autre borne inférieure pour la même somme en termes d’entropies individuelles lorsque les variables sont des fonctions de nombres aléatoires indépendantes. Le coefficient de l’inégalité caractérise les propriétés d’expansion du système.

Nos résultats se généralisent aux inégalités d’entropie utilisées dans des travaux récents dans des contextes invariants, y compris l’inégalité arête-sommet pour les processus de facteur d’IID, les inégalités d’entropie de Bowen et les limites d’entropie de Bollobás dans des graphes réguliers aléatoires.

La méthode de la preuve produit des inégalités pour d’autres mesures de l’aléatoire, y compris la covariance.

Comme application, nous donnons des bornes supérieures pour des ensembles indépendants dans des graphes finis et infinis.