Entropia Cruzada (Bernoulli) Calculator
Entropia cruzada entre Bernoulli(p) verdadeira e Bernoulli(q) do modelo.
Formula first
Overview
A entropia cruzada para uma distribuição de Bernoulli quantifica a divergência entre a probabilidade binária verdadeira p e a probabilidade prevista q. É a métrica padrão usada em classificação binária para penalizar modelos com base em o quanto sua distribuição prevista difere da distribuição alvo real.
Symbols
Variables
H(p,q) = Cross-Entropy, p = True Probability, q = Model Probability
Apply it well
When To Use
When to use: Aplique esta equação ao avaliar modelos de classificação binária onde os resultados são mutuamente exclusivos. É a principal função de perda usada durante o treinamento de modelos de regressão logística e redes neurais binárias.
Why it matters: Esta função é superior ao erro quadrático médio para classificação porque fornece gradientes mais fortes quando o modelo está confiantemente errado. Isso resulta em uma convergência mais rápida durante processos de otimização como o gradiente descendente.
Avoid these traps
Common Mistakes
- Usar porcentagens em vez de probabilidades (0.7 em vez de 70).
- Tirar ln de 0 (q deve ser estritamente entre 0 e 1).
One free problem
Practice Problem
Um modelo de aprendizado de máquina prevê uma probabilidade de 0.7 (q) de que uma imagem contenha um gato. A imagem real é de fato um gato (p = 1.0). Calcule a entropia cruzada binária para esta previsão em nats.
Hint: Como p = 1, o termo (1-p) se torna zero, o que significa que você só precisa calcular -ln(q).
The full worked solution stays in the interactive walkthrough.
References
Sources
- Wikipedia: Cross-entropy
- Elements of Information Theory (2nd ed.) by Thomas M. Cover and Joy A. Thomas
- Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
- Elements of Information Theory (Cover and Thomas)
- Cover, Thomas M., and Joy A. Thomas. Elements of Information Theory. 2nd ed. Wiley-Interscience, 2006.
- Goodfellow, Ian, Yoshua Bengio, and Aaron Courville. Deep Learning. MIT Press, 2016.