Entropia Incrociata (Bernoulli) Calculator
Entropia incrociata tra Bernoulli vero(p) e Bernoulli modello(q).
Formula first
Overview
L'entropia incrociata per una distribuzione di Bernoulli quantifica la divergenza tra la probabilità binaria vera p e la probabilità predetta q. È la metrica standard utilizzata nella classificazione binaria per penalizzare i modelli in base a quanto la loro distribuzione predetta differisce dalla distribuzione target effettiva.
Symbols
Variables
H(p,q) = Cross-Entropy, p = True Probability, q = Model Probability
Apply it well
When To Use
When to use: Applicare questa equazione quando si valutano modelli di classificazione binaria in cui gli esiti sono mutuamente esclusivi. È la funzione di perdita primaria utilizzata durante l'addestramento di modelli di regressione logistica e reti neurali binarie.
Why it matters: Questa funzione è superiore all'errore quadratico medio per la classificazione perché fornisce gradienti più forti quando il modello è fiducioso nell'errore. Ciò si traduce in una convergenza più rapida durante processi di ottimizzazione come la discesa del gradiente.
Avoid these traps
Common Mistakes
- Usare percentuali invece di probabilità (0.7 non 70).
- Prendere il logaritmo di 0 (q deve essere strettamente tra 0 e 1).
One free problem
Practice Problem
Un modello di machine learning predice una probabilità di 0.7 (q) che un'immagine contenga un gatto. L'immagine reale è effettivamente un gatto (p = 1.0). Calcola l'entropia incrociata binaria per questa predizione in nat.
Hint: Poiché p = 1, il termine (1-p) diventa zero, il che significa che devi solo calcolare -ln(q).
The full worked solution stays in the interactive walkthrough.
References
Sources
- Wikipedia: Cross-entropy
- Elements of Information Theory (2nd ed.) by Thomas M. Cover and Joy A. Thomas
- Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
- Elements of Information Theory (Cover and Thomas)
- Cover, Thomas M., and Joy A. Thomas. Elements of Information Theory. 2nd ed. Wiley-Interscience, 2006.
- Goodfellow, Ian, Yoshua Bengio, and Aaron Courville. Deep Learning. MIT Press, 2016.