Data & ComputingInformationstheorieA-Level
AQAIBAbiturAPBachilleratoCambridgeCISCEEdexcel

Entropie (Shannon)

Durchschnittliches Maß an Information/Unsicherheit.

Understand the formulaSee the free derivationOpen the full walkthrough
Open Full WalkthroughTry Calculator

This public page keeps the free explanation visible and leaves premium worked solving, advanced walkthroughs, and saved study tools inside the app.

Core idea

Overview

Die Shannon-Entropie quantifiziert das durchschnittliche Maß an Unsicherheit, Überraschung oder Information, das den möglichen Ergebnissen einer Zufallsvariablen innewohnt. Sie bildet die theoretische Grundlage der Datenkompression, indem sie die minimale durchschnittliche Anzahl an Bits definiert, die zur Darstellung einer Nachricht erforderlich sind.

When to use: Verwende diese Formel, um die Grenzen verlustfreier Datenkompression zu bestimmen oder die Unvorhersagbarkeit einer diskreten Wahrscheinlichkeitsverteilung zu messen. Sie ist am wirksamsten, wenn die Menge möglicher Ergebnisse endlich ist und ihre Wahrscheinlichkeiten unabhängig und bekannt sind.

Why it matters: Sie ist die grundlegende Metrik der Informationstheorie und ermöglicht die Effizienz moderner digitaler Kommunikation, von ZIP-Dateien bis zu Streaming-Video. Durch die Identifikation der statistischen Struktur von Daten erlaubt sie die Optimierung von Speicher- und Übertragungsbandbreite.

Symbols

Variables

H = Entropy (Bits), p = Probability (p)

Entropy (Bits)
bits
Probability (p)
Variable

Walkthrough

Derivation

Formel: Shannon-Entropie

Die Shannon-Entropie misst die durchschnittliche Unsicherheit (Informationsgehalt) einer diskreten Zufallsvariablen unter Verwendung der Wahrscheinlichkeiten der Ergebnisse.

  • X ist diskret mit Ergebnissen und Wahrscheinlichkeiten =P().
  • Terme mit =0 tragen 0 bei (behandle 0\log 0 als 0).
1

Nennen der Entropieformel:

Summieren der nach Wahrscheinlichkeit gewichteten Information (1/) über alle Ergebnisse, was die erwartete Information pro Symbol ergibt.

2

Interpretieren der Einheiten:

Die Verwendung von Logarithmen zur Basis 2 bedeutet, dass die Entropie in Bits (Binärziffern) gemessen wird.

Note: Die maximale Entropie tritt auf, wenn alle Ergebnisse gleich wahrscheinlich sind.

Result

Source: AQA A-Level Computer Science — Data Representation

Free formulas

Rearrangements

Solve for

Nach H umstellen

Vereinfachen Sie die Entropieformel von Shannon von ihrer allgemeinen Summationsform auf den speziellen Fall der binären Entropie, bei dem es nur zwei mögliche Ergebnisse gibt.

Difficulty: 2/5

The static page shows the finished rearrangements. The app keeps the full worked algebra walkthrough.

Visual intuition

Graph

Graph type: parabolic

Why it behaves this way

Intuition

Die Shannon-Entropie quantifiziert die „Streuung“ oder „Flachheit“ einer Wahrscheinlichkeitsverteilung: eine gleichmäßigere Verteilung (alle Ergebnisse gleich wahrscheinlich)

Term
Shannon-Entropie, die die durchschnittliche Unsicherheit oder den Informationsgehalt einer Zufallsvariablen X darstellt.
Ein höheres H(X) bedeutet, dass die Ergebnisse von X im Durchschnitt unvorhersehbarer oder „überraschender“ sind, was mehr Bits zur Beschreibung erfordert.
Term
Die Wahrscheinlichkeit eines bestimmten Ergebnisses „x“ aus der Menge aller möglichen Ergebnisse für die Zufallsvariable X.
Wie wahrscheinlich es ist, dass ein bestimmtes Ereignis „x“ eintritt. Weniger wahrscheinliche Ereignisse (kleines p(x)) tragen mehr individuelle Information.
Term
Der Logarithmus (Basis 2) der Wahrscheinlichkeit eines Ergebnisses „x“. Dieser Term stellt, wenn er negiert wird, die „Selbstinformation“ oder „Überraschung“ des Ergebnisses „x“ dar.
Da p(x) zwischen 0 und 1 liegt, ist log_2 p(x) immer negativ oder Null. Ergebnisse mit sehr geringer Wahrscheinlichkeit haben einen großen negativen log_2 p(x), was bedeutet, dass sie sehr „überraschend“ sind (und somit viel Information tragen, wenn sie

Signs and relationships

  • -: Der Logarithmus log_2 p(x) ist für Wahrscheinlichkeiten p(x) zwischen 0 und 1 negativ. Das negative Vorzeichen stellt sicher, dass der Informationsgehalt -log_2 p(x) eine positive Größe ist, die die Anzahl der Bits darstellt.

Free study cues

Insight

Canonical usage

Die Shannon-Entropie quantifiziert Information in Einheiten, die durch die Basis des verwendeten Logarithmus bestimmt werden, am häufigsten in Bits (bei Logarithmus zur Basis 2).

Dimension note

Die Shannon-Entropie ist eine dimensionslose Größe, die den durchschnittlichen Informationsgehalt oder die Ungewissheit darstellt. Die Wahrscheinlichkeiten p(x) sind selbst dimensionslos, und der Logarithmus einer dimensionslosen Größe ist ebenfalls

One free problem

Practice Problem

Eine faire Münze hat zwei Ergebnisse, Kopf und Zahl, jeweils mit einer Wahrscheinlichkeit von 0.5. Berechne die Shannon-Entropie eines einzelnen Münzwurfs.

Hint: Wenn Ergebnisse gleich wahrscheinlich sind (p = 0.5 für binär), ist die Entropie maximal.

The full worked solution stays in the interactive walkthrough.

Where it shows up

Real-World Context

Im Kontext von Messung der Unsicherheit einer verzerrten Münze wird Entropie (Shannon) verwendet, um Messwerte in einen interpretierbaren Wert zu übersetzen. Das Ergebnis ist wichtig, weil es hilft, Modellverhalten, Algorithmuskosten oder Vorhersagequalität vor der Nutzung des Ergebnisses zu bewerten.

Study smarter

Tips

  • Die Entropie ist maximal, wenn alle Ergebnisse gleich wahrscheinlich sind.
  • Die Einheiten sind Bits, wenn der Logarithmus zur Basis 2 genommen wird.
  • Die Entropie ist immer null oder positiv; sie ist nur null, wenn ein Ergebnis sicher ist.
  • Verwende die Formel für den Basiswechsel: log₂(x) = ln(x) / ln(2).

Avoid these traps

Common Mistakes

  • Den natürlichen Logarithmus statt log2 verwenden.
  • Sowohl p- als auch q-Terme vergessen.

Common questions

Frequently Asked Questions

Die Shannon-Entropie misst die durchschnittliche Unsicherheit (Informationsgehalt) einer diskreten Zufallsvariablen unter Verwendung der Wahrscheinlichkeiten der Ergebnisse.

Verwende diese Formel, um die Grenzen verlustfreier Datenkompression zu bestimmen oder die Unvorhersagbarkeit einer diskreten Wahrscheinlichkeitsverteilung zu messen. Sie ist am wirksamsten, wenn die Menge möglicher Ergebnisse endlich ist und ihre Wahrscheinlichkeiten unabhängig und bekannt sind.

Sie ist die grundlegende Metrik der Informationstheorie und ermöglicht die Effizienz moderner digitaler Kommunikation, von ZIP-Dateien bis zu Streaming-Video. Durch die Identifikation der statistischen Struktur von Daten erlaubt sie die Optimierung von Speicher- und Übertragungsbandbreite.

Den natürlichen Logarithmus statt log2 verwenden. Sowohl p- als auch q-Terme vergessen.

Im Kontext von Messung der Unsicherheit einer verzerrten Münze wird Entropie (Shannon) verwendet, um Messwerte in einen interpretierbaren Wert zu übersetzen. Das Ergebnis ist wichtig, weil es hilft, Modellverhalten, Algorithmuskosten oder Vorhersagequalität vor der Nutzung des Ergebnisses zu bewerten.

Die Entropie ist maximal, wenn alle Ergebnisse gleich wahrscheinlich sind. Die Einheiten sind Bits, wenn der Logarithmus zur Basis 2 genommen wird. Die Entropie ist immer null oder positiv; sie ist nur null, wenn ein Ergebnis sicher ist. Verwende die Formel für den Basiswechsel: log₂(x) = ln(x) / ln(2).

References

Sources

  1. Shannon, C. E. (1948). A Mathematical Theory of Communication.
  2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory.
  3. Wikipedia: Shannon entropy
  4. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.
  5. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
  6. Claude E. Shannon, 'A Mathematical Theory of Communication', Bell System Technical Journal, 1948
  7. Thomas M. Cover and Joy A. Thomas, 'Elements of Information Theory', 2nd ed., Wiley-Interscience, 2006
  8. David J. C. MacKay, 'Information Theory, Inference, and Learning Algorithms', Cambridge University Press, 2003