Entropia Cruzada Binária Calculator

Formula first

Overview

A Entropia Cruzada Binária mede a divergência entre duas distribuições de probabilidade, tipicamente os rótulos verdadeiros e as probabilidades preditas em uma tarefa de classificação binária. Ela calcula um valor de perda que penaliza as previsões exponencialmente à medida que divergem do valor da classe real.

Symbols

Variables

L = Loss, y = Actual Label (0/1), p = Predicted Prob

Apply it well

When To Use

When to use: Esta equação é a função de perda padrão para problemas de classificação binária onde a saída é uma única probabilidade entre 0 e 1. É mais eficaz quando combinada com uma função de ativação sigmoide na camada final de uma rede neural.

Why it matters: Ela fornece uma superfície suave e convexa para otimização, permitindo que o gradiente descendente atualize efetivamente os pesos do modelo. Ao penalizar fortemente as previsões confiantes, mas incorretas, ela força o modelo a aprender limites mais distintos entre as classes.

Avoid these traps

Common Mistakes

• Usar p=0 ou p=1 diretamente.
• Esquecer o termo (1-y).

One free problem

Practice Problem

Um modelo de aprendizado de máquina identifica uma transação como fraudulenta (y = 1). A probabilidade predita de fraude pelo modelo é de 0,85. Calcule a perda de entropia cruzada binária para esta previsão específica.

Hint: Quando y = 1, a fórmula se simplifica para L = -ln(p).

The full worked solution stays in the interactive walkthrough.

Keep going

Related Formulas

References

Sources

1. Wikipedia: Cross-entropy
2. Goodfellow, I., Bengio, Y., Courville, A. (2016). Deep Learning. MIT Press.
3. Deep Learning (Ian Goodfellow, Yoshua Bengio, and Aaron Courville)
4. Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. (Chapter 6, Section 6.2.2.2)
5. Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer. (Chapter 4, Section 4.3.4)
6. Standard curriculum — Machine Learning (Classification Losses)