Perda de Entropia Cruzada Binária Calculator
Função de perda para classificação.
Formula first
Overview
A Perda de Entropia Cruzada Binária, ou Perda Logarítmica, quantifica a diferença entre duas distribuições de probabilidade: os rótulos binários reais e as probabilidades previstas. Ela aplica uma penalidade logarítmica pesada a previsões que são confiantes, mas incorretas, guiando algoritmos de otimização como o gradiente descendente a melhorar a precisão do modelo.
Symbols
Variables
y = True Label (0/1), p = Predicted Prob, L = Loss
Apply it well
When To Use
When to use: Esta função foi projetada especificamente para tarefas de classificação binária onde a saída é um único valor de probabilidade entre 0 e 1. É mais comumente usada como a função objetivo para regressão logística e redes neurais que utilizam uma função de ativação sigmoide na camada de saída.
Why it matters: Ao contrário do erro de classificação simples, esta função de perda é diferenciável, o que é essencial para a retropropagação no aprendizado profundo. Ela garante que o modelo seja penalizado mais severamente por estar 'confiantemente errado' do que por estar 'incertamente errado', levando a previsões probabilísticas mais robustas.
Avoid these traps
Common Mistakes
- Usar log base 10 (use logaritmo natural).
- p=0 ou p=1 exatamente (causa infinito).
One free problem
Practice Problem
Um modelo de diagnóstico médico prevê uma probabilidade de 0,85 de um paciente ter uma condição específica. Se o paciente realmente tem a condição (y=1), calcule a perda de entropia cruzada binária.
Hint: Como y=1, a fórmula se simplifica para L = -ln(p).
The full worked solution stays in the interactive walkthrough.
References
Sources
- Wikipedia: Cross-entropy
- Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
- Deep Learning (Goodfellow, Bengio, Courville)
- Pattern Recognition and Machine Learning (Bishop)
- Goodfellow, Bengio, and Courville Deep Learning
- Bishop Pattern Recognition and Machine Learning
- Standard curriculum — Machine Learning