Divergence de KL (Bernoulli) Calculator

Formula first

Overview

La divergence de KL de Bernoulli mesure l'entropie relative entre deux distributions de Bernoulli, en quantifiant l'information perdue lorsque la distribution q est utilisée pour approximer la distribution p. C'est une mesure non symétrique qui caractérise la distance statistique entre deux résultats binaires au sein d'un espace de probabilité partagé.

Symbols

Variables

$D_{KL}$ = KL Divergence, p = True Probability, q = Model Probability

Apply it well

When To Use

When to use: Cette équation est essentielle lors de l'évaluation des performances de classificateurs binaires ou lorsque vous comparez un modèle théorique à des fréquences binaires observées. Elle est fréquemment appliquée en apprentissage automatique comme composante de fonctions de perte telles que l'entropie croisée binaire et dans le contexte de la sélection de modèles fondée sur la théorie de l'information.

Why it matters: Elle fournit un moyen rigoureux de mesurer la « surprise » ou le coût supplémentaire engendré lorsqu'on suppose un ensemble de probabilités alors que la réalité est différente. En pratique, minimiser cette divergence optimise la transmission des données et garantit que les modèles prédictifs soient aussi proches que possible du véritable processus générateur des données.

Avoid these traps

Common Mistakes

• Inverser p et q (cela change la valeur).
• Supposer que KL est une distance métrique (elle n'est pas symétrique).

One free problem

Practice Problem

On sait qu'une pièce a une vraie probabilité p = 0.5 de tomber sur face. Si un chercheur modélise cette pièce avec une probabilité estimée q = 0.2, calculez la divergence de KL résultante en nats.

Hint: Remplacez les valeurs dans la formule en utilisant des logarithmes naturels pour les deux termes p/q et (1-p)/(1-q).

The full worked solution stays in the interactive walkthrough.

Keep going

Related Formulas

References

Sources

1. Elements of Information Theory by Thomas M. Cover and Joy A. Thomas
2. Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
3. Wikipedia: Kullback-Leibler divergence
4. Cover and Thomas, Elements of Information Theory, 2nd ed.
5. Wikipedia: Bernoulli distribution
6. IUPAC Gold Book: relative entropy
7. Cover and Thomas Elements of Information Theory