Perdita di Entropia Incrociata Binaria Calculator
Funzione di perdita per la classificazione.
Formula first
Overview
La Perdita di Entropia Incrociata Binaria, o Log Loss, quantifica la differenza tra due distribuzioni di probabilità: le etichette binarie effettive e le probabilità predette. Applica una pesante penalità logaritmica alle previsioni che sono sicure ma errate, guidando algoritmi di ottimizzazione come la discesa del gradiente a migliorare l'accuratezza del modello.
Symbols
Variables
y = True Label (0/1), p = Predicted Prob, L = Loss
Apply it well
When To Use
When to use: Questa funzione è specificamente progettata per compiti di classificazione binaria in cui l'output è un singolo valore di probabilità compreso tra 0 e 1. È più comunemente utilizzata come funzione obiettivo per la regressione logistica e le reti neurali che utilizzano una funzione di attivazione sigmoide nello strato di output.
Why it matters: A differenza del semplice errore di classificazione, questa funzione di perdita è differenziabile, il che è essenziale per la retropropagazione nel deep learning. Assicura che il modello venga penalizzato più severamente per essere "confidently wrong" rispetto a essere "uncertainly wrong", portando a previsioni probabilistiche più robuste.
Avoid these traps
Common Mistakes
- Usare il log base 10 (usare il logaritmo naturale).
- p=0 o p=1 esattamente (causa infinito).
One free problem
Practice Problem
Un modello diagnostico medico prevede una probabilità del 0,85 che un paziente abbia una condizione specifica. Se il paziente ha effettivamente la condizione (y=1), calcolare la perdita di entropia incrociata binaria.
Hint: Poiché y=1, la formula si semplifica in L = -ln(p).
The full worked solution stays in the interactive walkthrough.
References
Sources
- Wikipedia: Cross-entropy
- Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
- Deep Learning (Goodfellow, Bengio, Courville)
- Pattern Recognition and Machine Learning (Bishop)
- Goodfellow, Bengio, and Courville Deep Learning
- Bishop Pattern Recognition and Machine Learning
- Standard curriculum — Machine Learning