Data & ComputingTeoria dell'informazioneA-Level
AQAIBAbiturAPBachilleratoCambridgeCISCEEdexcel

Entropia (Shannon) Calculator

Livello medio di informazione/incertezza.

Use the free calculatorCheck the variablesOpen the advanced solver
Open Advanced Calculator
This is the free calculator preview. Advanced walkthroughs stay in the app.
Result
Ready
Entropy (Bits)

Formula first

Overview

L'entropia di Shannon quantifica il livello medio di incertezza, sorpresa o informazione inerente ai possibili risultati di una variabile casuale. Fornisce le basi teoriche per la compressione dei dati definendo il numero minimo medio di bit richiesti per rappresentare un messaggio.

Symbols

Variables

H = Entropy (Bits), p = Probability (p)

Entropy (Bits)
bits
Probability (p)
Variable

Apply it well

When To Use

When to use: Usa questa formula per determinare i limiti della compressione dati senza perdita o per misurare l'imprevedibilità di una distribuzione di probabilità discreta. È più efficace quando l'insieme dei possibili risultati è finito e le loro probabilità sono indipendenti e note.

Why it matters: È la metrica fondamentale della teoria dell'informazione, che consente l'efficienza delle moderne comunicazioni digitali, dai file ZIP allo streaming video. Identificando la struttura statistica dei dati, consente l'ottimizzazione della larghezza di banda di archiviazione e trasmissione.

Avoid these traps

Common Mistakes

  • Usare il logaritmo naturale invece di log2.
  • Dimenticare sia i termini p che q.

One free problem

Practice Problem

Una moneta equa ha due risultati, testa e croce, ciascuno con una probabilità di 0.5. Calcola l'entropia di Shannon di un singolo lancio di moneta.

Hint: Quando i risultati sono ugualmente probabili (p = 0.5 per binario), l'entropia è al suo valore massimo.

The full worked solution stays in the interactive walkthrough.

References

Sources

  1. Shannon, C. E. (1948). A Mathematical Theory of Communication.
  2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory.
  3. Wikipedia: Shannon entropy
  4. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.
  5. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
  6. Claude E. Shannon, 'A Mathematical Theory of Communication', Bell System Technical Journal, 1948
  7. Thomas M. Cover and Joy A. Thomas, 'Elements of Information Theory', 2nd ed., Wiley-Interscience, 2006
  8. David J. C. MacKay, 'Information Theory, Inference, and Learning Algorithms', Cambridge University Press, 2003