Divergência KL (Bernoulli) Calculator

Formula first

Overview

A divergência KL de Bernoulli mede a entropia relativa entre duas distribuições de Bernoulli, quantificando a informação perdida quando a distribuição q é usada para aproximar a distribuição p. É uma métrica não simétrica que caracteriza a distância estatística entre dois resultados binários em um espaço de probabilidade compartilhado.

Symbols

Variables

$D_{KL}$ = KL Divergence, p = True Probability, q = Model Probability

Apply it well

When To Use

When to use: Esta equação é essencial ao avaliar o desempenho de classificadores binários ou ao comparar um modelo teórico com frequências binárias observadas. É frequentemente aplicada em aprendizado de máquina como um componente de funções de perda como a Entropia Cruzada Binária e no contexto de seleção de modelos informacional-teórica.

Why it matters: Fornece uma maneira rigorosa de medir a 'surpresa' ou o custo extra incorrido ao assumir um conjunto de probabilidades quando a realidade é diferente. Na prática, minimizar essa divergência otimiza a transmissão de dados e garante que os modelos preditivos estejam o mais próximo possível do processo de geração de dados verdadeiro.

Avoid these traps

Common Mistakes

• Trocar p e q (altera o valor).
• Assumir que KL é uma métrica de distância (não é simétrica).

One free problem

Practice Problem

Sabe-se que uma moeda tem uma probabilidade real de sair cara de p = 0.5. Se um pesquisador modelar essa moeda com uma probabilidade estimada q = 0.2, calcule a Divergência KL resultante em nats.

Hint: Substitua os valores na fórmula usando logaritmos naturais para os termos p/q e (1-p)/(1-q).

The full worked solution stays in the interactive walkthrough.

Keep going

Related Formulas

References

Sources

1. Elements of Information Theory by Thomas M. Cover and Joy A. Thomas
2. Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
3. Wikipedia: Kullback-Leibler divergence
4. Cover and Thomas, Elements of Information Theory, 2nd ed.
5. Wikipedia: Bernoulli distribution
6. IUPAC Gold Book: relative entropy
7. Cover and Thomas Elements of Information Theory