Data & ComputingTeoría de la InformaciónA-Level
AQAIBAbiturAPBachilleratoCambridgeCISCEEdexcel

Entropía (Shannon) Calculator

Nivel promedio de información/incertidumbre.

Use the free calculatorCheck the variablesOpen the advanced solver
Open Advanced Calculator
This is the free calculator preview. Advanced walkthroughs stay in the app.
Result
Ready
Entropy (Bits)

Formula first

Overview

La entropía de Shannon cuantifica el nivel promedio de incertidumbre, sorpresa o información inherente a los posibles resultados de una variable aleatoria. Proporciona la base teórica para la compresión de datos al definir el número mínimo promedio de bits necesarios para representar un mensaje.

Symbols

Variables

H = Entropy (Bits), p = Probability (p)

Entropy (Bits)
bits
Probability (p)
Variable

Apply it well

When To Use

When to use: Usa esta fórmula para determinar los límites de la compresión de datos sin pérdidas o para medir la impredecibilidad de una distribución de probabilidad discreta. Es más efectiva cuando el conjunto de resultados posibles es finito y sus probabilidades son independientes y conocidas.

Why it matters: Es la métrica fundamental de la teoría de la información, que permite la eficiencia de las comunicaciones digitales modernas, desde archivos ZIP hasta video en streaming. Al identificar la estructura estadística de los datos, permite la optimización del almacenamiento y el ancho de banda de transmisión.

Avoid these traps

Common Mistakes

  • Usar logaritmo natural en lugar de log2.
  • Olvidar los términos p y q.

One free problem

Practice Problem

Una moneda justa tiene dos resultados, cara y cruz, cada uno con una probabilidad de 0.5. Calcula la entropía de Shannon de un solo lanzamiento de moneda.

Hint: Cuando los resultados son igualmente probables (p = 0.5 para binario), la entropía está en su valor máximo.

The full worked solution stays in the interactive walkthrough.

References

Sources

  1. Shannon, C. E. (1948). A Mathematical Theory of Communication.
  2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory.
  3. Wikipedia: Shannon entropy
  4. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.
  5. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
  6. Claude E. Shannon, 'A Mathematical Theory of Communication', Bell System Technical Journal, 1948
  7. Thomas M. Cover and Joy A. Thomas, 'Elements of Information Theory', 2nd ed., Wiley-Interscience, 2006
  8. David J. C. MacKay, 'Information Theory, Inference, and Learning Algorithms', Cambridge University Press, 2003