Information mutuelle (2×2) Calculator

Formula first

Overview

L'information mutuelle quantifie la dépendance statistique entre deux variables aléatoires discrètes en mesurant la quantité d'information partagée entre elles. Dans le cas d'un tableau de contingence 2×2, elle calcule la divergence de Kullback-Leibler entre la distribution de probabilité conjointe et le produit des distributions marginales de deux variables binaires.

Symbols

Variables

I(X;Y) = Mutual Information, $p_{00}$ = P(X=0,Y=0), $p_{01}$ = P(X=0,Y=1), $p_{10}$ = P(X=1,Y=0), $p_{11}$ = P(X=1,Y=1)

Apply it well

When To Use

When to use: Appliquez cette formule lorsque vous analysez la relation entre deux variables binaires, par exemple en comparant un résultat de test à la présence d'une maladie. Elle est préférable à la corrélation linéaire lorsque vous devez capturer des dépendances non linéaires ou une association statistique générale.

Why it matters: C'est un concept fondamental en théorie de la communication pour calculer la capacité d'un canal et en apprentissage automatique pour la sélection de caractéristiques. Une information mutuelle élevée indique que connaître l'état d'une variable réduit fortement l'incertitude sur l'autre.

Avoid these traps

Common Mistakes

• Oublier de normaliser les probabilités pour que leur somme fasse 1.
• Mélanger les logarithmes (ln vs log2) et les unités (nats vs bits).

One free problem

Practice Problem

Un chercheur étudie le lien entre une mutation génétique spécifique et un trait rare. Dans une population parfaitement équilibrée, les probabilités conjointes sont toutes égales (0.25 chacune). Calculez l'information mutuelle.

Hint: Si la probabilité conjointe de каждой case est égale au produit de ses probabilités marginales, alors les variables sont indépendantes.

The full worked solution stays in the interactive walkthrough.

Keep going

Related Formulas

References

Sources

1. Cover, Thomas M., and Joy A. Thomas. Elements of Information Theory. 2nd ed. Wiley-Interscience, 2006.
2. Wikipedia: Mutual Information
3. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
4. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley-Interscience.
5. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.