Entropie croisée (Bernoulli) Calculator
Entropie croisée entre une vraie Bernoulli(p) et une Bernoulli(q) modélisée.
Formula first
Overview
L'entropie croisée pour une distribution de Bernoulli quantifie l'écart entre la vraie probabilité binaire p et la probabilité prédite q. Il s'agit de la mesure standard utilisée en classification binaire pour pénaliser les modèles selon l'écart entre leur distribution prédite et la distribution cible réelle.
Symbols
Variables
H(p,q) = Cross-Entropy, p = True Probability, q = Model Probability
Apply it well
When To Use
When to use: Appliquez cette équation lorsque vous évaluez des modèles de classification binaire dans lesquels les résultats sont mutuellement exclusifs. C'est la fonction de perte principale utilisée pendant l'entraînement des modèles de régression logistique et des réseaux de neurones binaires.
Why it matters: Cette fonction est supérieure à l'erreur quadratique moyenne pour la classification parce qu'elle fournit des gradients plus forts lorsque le modèle a tort avec assurance. Cela conduit à une convergence plus rapide pendant les processus d'optimisation comme la descente de gradient.
Avoid these traps
Common Mistakes
- Utiliser des pourcentages au lieu de probabilités (0.7 et non 70).
- Prendre ln de 0 (q doit être strictement compris entre 0 et 1).
One free problem
Practice Problem
Un modèle d'apprentissage automatique prédit une probabilité q = 0.7 qu'une image contienne un chat. L'image réelle contient bien un chat (p = 1.0). Calculez l'entropie croisée binaire pour cette prédiction en nats.
Hint: Comme p = 1, le terme (1-p) devient nul, vous n'avez donc qu'à calculer -ln(q).
The full worked solution stays in the interactive walkthrough.
References
Sources
- Wikipedia: Cross-entropy
- Elements of Information Theory (2nd ed.) by Thomas M. Cover and Joy A. Thomas
- Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
- Elements of Information Theory (Cover and Thomas)
- Cover, Thomas M., and Joy A. Thomas. Elements of Information Theory. 2nd ed. Wiley-Interscience, 2006.
- Goodfellow, Ian, Yoshua Bengio, and Aaron Courville. Deep Learning. MIT Press, 2016.