Data & ComputingInformationstheorieUniversity
AQAAPOntarioNSWCBSEGCE O-LevelMoECAPS

KL-Divergenz (Bernoulli)

D_KL(p||q) für Bernoulli-Verteilungen.

Understand the formulaSee the free derivationOpen the full walkthrough
Open Full WalkthroughTry Calculator

This public page keeps the free explanation visible and leaves premium worked solving, advanced walkthroughs, and saved study tools inside the app.

Core idea

Overview

Die Bernoulli-KL-Divergenz misst die relative Entropie zwischen zwei Bernoulli-Verteilungen und quantifiziert den Informationsverlust, wenn Verteilung q verwendet wird, um Verteilung p zu approximieren. Sie ist eine nicht symmetrische Metrik, die den statistischen Abstand zwischen zwei binären Ergebnissen über einen gemeinsamen Wahrscheinlichkeitsraum charakterisiert.

When to use: Diese Gleichung ist essenziell, wenn du die Leistung binärer Klassifikatoren bewertest oder ein theoretisches Modell mit beobachteten binären Häufigkeiten vergleichst. Sie wird häufig im maschinellen Lernen als Bestandteil von Verlustfunktionen wie der binären Kreuzentropie sowie im Kontext informationstheoretischer Modellauswahl verwendet.

Why it matters: Sie liefert eine strenge Methode, um die 'Überraschung' oder die zusätzlichen Kosten zu messen, die entstehen, wenn man von einem Satz Wahrscheinlichkeiten ausgeht, obwohl die Realität anders ist. In der Praxis führt die Minimierung dieser Divergenz zu optimierter Datenübertragung und stellt sicher, dass Vorhersagemodelle dem wahren Datenerzeugungsprozess möglichst nahe kommen.

Symbols

Variables

= KL Divergence, p = True Probability, q = Model Probability

KL Divergence
nats
True Probability
Variable
Model Probability
Variable

Walkthrough

Derivation

Herleitung der KL-Divergenz für Bernoulli-Variablen

Die KL-Divergenz misst die Abweichung zwischen der wahren Wahrscheinlichkeit p und der Modellwahrscheinlichkeit q.

  • Binäre Variable X∈{0,1}.
  • Wahre Verteilung: P(X=1)=p.
  • Modell-Verteilung: Q(X=1)=q.
1

Beginnen Sie mit der Definition der KL-Divergenz:

KL ist ein erwartetes Log-Verhältnis von Wahrscheinlichkeiten.

2

Aufschreiben der Wahrscheinlichkeiten für X=1 und X=0:

Bernoulli-Verteilungen sind durch ihre Erfolgswahrscheinlichkeiten bestimmt.

3

Erweitern des Erwartungswerts:

Dies ist die standardmäßige geschlossene Form für die Bernoulli-KL-Divergenz.

Result

Visual intuition

Graph

Graph type: quadratic

Why it behaves this way

Intuition

Stellen Sie sich zwei verschiedene Balkendiagramme vor, die jeweils eine Bernoulli-Verteilung mit zwei Balken (Erfolg und Misserfolg) darstellen. Die KL-Divergenz quantifiziert den „zusätzlichen Platz“ oder den „Abstand“, der erforderlich ist, um das erste Balkendiagramm unter Verwendung des zweiten zu beschreiben.

Term
Die wahre Wahrscheinlichkeit des „Erfolgs“ für die Referenz-Bernoulli-Verteilung.
Dies ist die tatsächliche Wahrscheinlichkeit des Eintretens eines Ereignisses, wie sie aus dem wahren datengenerierenden Prozess beobachtet oder bekannt ist.
Term
Die vorhergesagte oder näherungsweise Wahrscheinlichkeit des „Erfolgs“ für die Modell-Bernoulli-Verteilung.
Dies ist die Schätzung oder Hypothese unseres Modells für die Wahrscheinlichkeit desselben Ereignisses.
Term
Die Kullback-Leibler (KL) Divergenz zwischen der wahren Verteilung 'p' und der näherungsweisen Verteilung 'q'.
Dies ist der gesamte „Informationsverlust“ oder die „relative Entropie“, wenn wir die Wahrscheinlichkeiten von 'q' verwenden, um die Ergebnisse zu beschreiben, die tatsächlich 'p' folgen. Ein höherer Wert bedeutet, dass 'q' eine schlechtere Annäherung an 'p' ist.
Term
Der Beitrag zur Gesamtdivergenz durch das „Erfolgs“-Ergebnis.
Dieser Term quantifiziert die „Überraschung“ oder die Informationsdiskrepanz, wenn die wahre Erfolgswahrscheinlichkeit 'p' ist, wir aber 'q' erwartet haben, gewichtet damit, wie oft 'p' tatsächlich eintritt.
Term
Der Beitrag zur Gesamtdivergenz durch das „Misserfolgs“-Ergebnis.
Ähnlich wie beim Erfolgsterm misst dies die „Überraschung“ oder Informationsdiskrepanz für das Misserfolgsergebnis, gewichtet mit seiner wahren Wahrscheinlichkeit '1-p'.

Signs and relationships

  • \ln: Die Logarithmusfunktion transformiert Wahrscheinlichkeitsverhältnisse in Informationseinheiten (Nats bei natürlichem Logarithmus). Ihre Eigenschaft stellt sicher, dass die Terme `p\ln(p/q)` und `(1-p)((1-p)/(1-q))` immer nicht-negativ sind.
  • p: Die wahren Wahrscheinlichkeiten 'p' und '(1-p)' agieren als Gewichtungsfaktoren. Sie stellen sicher, dass die Informationsdiskrepanz für jedes Ergebnis (Erfolg oder Misserfolg) entsprechend gewichtet wird.
  • +: Die beiden Terme werden summiert, um die gesamte erwartete Informationsdiskrepanz über beide möglichen Ergebnisse (Erfolg und Misserfolg) hinweg zu berücksichtigen.

Free study cues

Insight

Canonical usage

Die KL-Divergenz ist eine dimensionslose Größe, die je nach Basis des verwendeten Logarithmus häufig in „Nats" oder „Bits" ausgedrückt wird, aber grundlegend ein einheitenloses Maß für Information darstellt.

Dimension note

Die KL-Divergenz ist von Natur aus dimensionslos, da sie aus Wahrscheinlichkeiten berechnet wird, die selbst dimensionslose Verhältnisse sind. Obwohl „Nats" oder „Bits" häufig zur Bezeichnung der Informationseinheit verwendet werden, sind dies keine physikalischen Einheiten.

One free problem

Practice Problem

Von einer Münze ist bekannt, dass die wahre Wahrscheinlichkeit für Kopf p = 0.5 beträgt. Wenn ein Forscher diese Münze mit einer geschätzten Wahrscheinlichkeit q = 0.2 modelliert, berechne die resultierende KL-Divergenz in Nats.

Hint: Setze die Werte in die Formel ein und verwende natürliche Logarithmen sowohl für den Term p/q als auch für (1-p)/(1-q).

The full worked solution stays in the interactive walkthrough.

Where it shows up

Real-World Context

Im Kontext von Quantifizieren, wie stark die vom Modell vorhergesagte Wahrscheinlichkeit von der Realität abweicht wird KL-Divergenz (Bernoulli) verwendet, um Messwerte in einen interpretierbaren Wert zu übersetzen. Das Ergebnis ist wichtig, weil es hilft, Modellverhalten, Algorithmuskosten oder Vorhersagequalität vor der Nutzung des Ergebnisses zu bewerten.

Study smarter

Tips

  • Achte darauf, dass p und q strikt zwischen 0 und 1 liegen, um natürliche Logarithmen von null oder Unendlichkeit zu vermeiden.
  • Denke daran, dass D(p||q) nicht gleich D(q||p) ist; die Reihenfolge beschreibt die Richtung von der wahren Verteilung p zum Modell q.
  • Eine Divergenz von 0 bedeutet immer, dass die beiden Verteilungen perfekt identisch sind.

Avoid these traps

Common Mistakes

  • p und q vertauschen (ändert den Wert).
  • Annehmen, dass KL eine Distanzmetrik ist (sie ist nicht symmetrisch).

Common questions

Frequently Asked Questions

Die KL-Divergenz misst die Abweichung zwischen der wahren Wahrscheinlichkeit p und der Modellwahrscheinlichkeit q.

Diese Gleichung ist essenziell, wenn du die Leistung binärer Klassifikatoren bewertest oder ein theoretisches Modell mit beobachteten binären Häufigkeiten vergleichst. Sie wird häufig im maschinellen Lernen als Bestandteil von Verlustfunktionen wie der binären Kreuzentropie sowie im Kontext informationstheoretischer Modellauswahl verwendet.

Sie liefert eine strenge Methode, um die 'Überraschung' oder die zusätzlichen Kosten zu messen, die entstehen, wenn man von einem Satz Wahrscheinlichkeiten ausgeht, obwohl die Realität anders ist. In der Praxis führt die Minimierung dieser Divergenz zu optimierter Datenübertragung und stellt sicher, dass Vorhersagemodelle dem wahren Datenerzeugungsprozess möglichst nahe kommen.

p und q vertauschen (ändert den Wert). Annehmen, dass KL eine Distanzmetrik ist (sie ist nicht symmetrisch).

Im Kontext von Quantifizieren, wie stark die vom Modell vorhergesagte Wahrscheinlichkeit von der Realität abweicht wird KL-Divergenz (Bernoulli) verwendet, um Messwerte in einen interpretierbaren Wert zu übersetzen. Das Ergebnis ist wichtig, weil es hilft, Modellverhalten, Algorithmuskosten oder Vorhersagequalität vor der Nutzung des Ergebnisses zu bewerten.

Achte darauf, dass p und q strikt zwischen 0 und 1 liegen, um natürliche Logarithmen von null oder Unendlichkeit zu vermeiden. Denke daran, dass D(p||q) nicht gleich D(q||p) ist; die Reihenfolge beschreibt die Richtung von der wahren Verteilung p zum Modell q. Eine Divergenz von 0 bedeutet immer, dass die beiden Verteilungen perfekt identisch sind.

References

Sources

  1. Elements of Information Theory by Thomas M. Cover and Joy A. Thomas
  2. Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
  3. Wikipedia: Kullback-Leibler divergence
  4. Cover and Thomas, Elements of Information Theory, 2nd ed.
  5. Wikipedia: Bernoulli distribution
  6. IUPAC Gold Book: relative entropy
  7. Cover and Thomas Elements of Information Theory