Entropia Incrociata Binaria Calculator
Funzione di perdita per la classificazione binaria.
Formula first
Overview
L'entropia incrociata binaria misura la divergenza tra due distribuzioni di probabilità, tipicamente le etichette vere e le probabilità predette in un compito di classificazione binaria. Calcola un valore di perdita che penalizza le previsioni esponenzialmente man mano che divergono dal valore della classe effettiva.
Symbols
Variables
L = Loss, y = Actual Label (0/1), p = Predicted Prob
Apply it well
When To Use
When to use: Questa equazione è la funzione di perdita standard per problemi di classificazione binaria in cui l'output è una singola probabilità compresa tra 0 e 1. È più efficace se abbinata a una funzione di attivazione sigmoide nello strato finale di una rete neurale.
Why it matters: Fornisce una superficie liscia e convessa per l'ottimizzazione, consentendo alla discesa del gradiente di aggiornare efficacemente i pesi del modello. Penalizzando fortemente le previsioni sicure ma errate, costringe il modello a imparare confini più distinti tra le classi.
Avoid these traps
Common Mistakes
- Utilizzare direttamente p=0 o p=1.
- Dimenticare il termine (1-y).
One free problem
Practice Problem
Un modello di machine learning identifica una transazione come fraudolenta (y = 1). La probabilità prevista di frode dal modello è 0,85. Calcola la perdita di entropia incrociata binaria per questa previsione specifica.
Hint: Quando y = 1, la formula si semplifica in L = -ln(p).
The full worked solution stays in the interactive walkthrough.
References
Sources
- Wikipedia: Cross-entropy
- Goodfellow, I., Bengio, Y., Courville, A. (2016). Deep Learning. MIT Press.
- Deep Learning (Ian Goodfellow, Yoshua Bengio, and Aaron Courville)
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. (Chapter 6, Section 6.2.2.2)
- Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer. (Chapter 4, Section 4.3.4)
- Standard curriculum — Machine Learning (Classification Losses)