Información Mutua (2×2) Calculator

Formula first

Overview

La Información Mutua cuantifica la dependencia estadística entre dos variables aleatorias discretas midiendo cuánta información se comparte entre ellas. En el caso de 2×2, calcula la divergencia de Kullback-Leibler entre la distribución de probabilidad conjunta y el producto de las distribuciones marginales de dos variables binarias.

Symbols

Variables

I(X;Y) = Mutual Information, $p_{00}$ = P(X=0,Y=0), $p_{01}$ = P(X=0,Y=1), $p_{10}$ = P(X=1,Y=0), $p_{11}$ = P(X=1,Y=1)

Apply it well

When To Use

When to use: Aplique esta fórmula al analizar la relación entre dos variables binarias, como comparar el resultado de una prueba con la presencia de una enfermedad. Se prefiere a la correlación lineal cuando se necesita capturar dependencias no lineales o asociaciones estadísticas generales.

Why it matters: Es un concepto fundamental en la teoría de la comunicación para calcular la capacidad del canal y en el aprendizaje automático para la selección de características. Una alta información mutua indica que conocer el estado de una variable reduce significativamente la incertidumbre sobre la otra.

Avoid these traps

Common Mistakes

• Olvidar normalizar las probabilidades para que sumen 1.
• Mezclar logaritmos (ln vs log2) y unidades (nats vs bits).

One free problem

Practice Problem

Un investigador está estudiando la relación entre una mutación genética específica y un rasgo raro. En una población perfectamente equilibrada, todas las probabilidades conjuntas son iguales (0.25 cada una). Calcule la Información Mutua.

Hint: Si la probabilidad conjunta de cada celda es igual al producto de sus probabilidades marginales, las variables son independientes.

The full worked solution stays in the interactive walkthrough.

Keep going

Related Formulas

References

Sources

1. Cover, Thomas M., and Joy A. Thomas. Elements of Information Theory. 2nd ed. Wiley-Interscience, 2006.
2. Wikipedia: Mutual Information
3. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
4. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley-Interscience.
5. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.