Data & ComputingTeoria da InformaçãoA-Level
AQAIBAbiturAPBachilleratoCambridgeCISCEEdexcel

Entropia (Shannon) Calculator

Nível médio de informação/incerteza.

Use the free calculatorCheck the variablesOpen the advanced solver
Open Advanced Calculator
This is the free calculator preview. Advanced walkthroughs stay in the app.
Result
Ready
Entropy (Bits)

Formula first

Overview

A entropia de Shannon quantifica o nível médio de incerteza, surpresa ou informação inerente aos possíveis resultados de uma variável aleatória. Ela fornece a base teórica para a compressão de dados, definindo o número médio mínimo de bits necessários para representar uma mensagem.

Symbols

Variables

H = Entropy (Bits), p = Probability (p)

Entropy (Bits)
bits
Probability (p)
Variable

Apply it well

When To Use

When to use: Use esta fórmula para determinar os limites da compressão de dados sem perdas ou para medir a imprevisibilidade de uma distribuição de probabilidade discreta. É mais eficaz quando o conjunto de resultados possíveis é finito e suas probabilidades são independentes e conhecidas.

Why it matters: É a métrica fundamental da teoria da informação, possibilitando a eficiência das comunicações digitais modernas, de arquivos ZIP a streaming de vídeo. Ao identificar a estrutura estatística dos dados, ela permite a otimização do armazenamento e da largura de banda de transmissão.

Avoid these traps

Common Mistakes

  • Usar logaritmo natural em vez de log2.
  • Esquecer os termos p e q.

One free problem

Practice Problem

Uma moeda justa tem dois resultados, cara e coroa, cada um com probabilidade de 0,5. Calcule a entropia de Shannon de um único lançamento de moeda.

Hint: Quando os resultados são igualmente prováveis (p = 0,5 para binário), a entropia está em seu valor máximo.

The full worked solution stays in the interactive walkthrough.

References

Sources

  1. Shannon, C. E. (1948). A Mathematical Theory of Communication.
  2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory.
  3. Wikipedia: Shannon entropy
  4. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.
  5. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
  6. Claude E. Shannon, 'A Mathematical Theory of Communication', Bell System Technical Journal, 1948
  7. Thomas M. Cover and Joy A. Thomas, 'Elements of Information Theory', 2nd ed., Wiley-Interscience, 2006
  8. David J. C. MacKay, 'Information Theory, Inference, and Learning Algorithms', Cambridge University Press, 2003