Entropía Cruzada (Bernoulli) Calculator
Entropía cruzada entre Bernoulli(p) verdadera y Bernoulli(q) del modelo.
Formula first
Overview
La entropía cruzada para una distribución de Bernoulli cuantifica la divergencia entre la probabilidad binaria verdadera p y la probabilidad predicha q. Es la métrica estándar utilizada en clasificación binaria para penalizar a los modelos basándose en cuánto difiere su distribución predicha de la distribución objetivo real.
Symbols
Variables
H(p,q) = Cross-Entropy, p = True Probability, q = Model Probability
Apply it well
When To Use
When to use: Aplicar esta ecuación al evaluar modelos de clasificación binaria donde los resultados son mutuamente excluyentes. Es la función de pérdida principal utilizada durante el entrenamiento de modelos de regresión logística y redes neuronales binarias.
Why it matters: Esta función es superior al error cuadrático medio para clasificación porque proporciona gradientes más fuertes cuando el modelo está erróneamente seguro. Esto resulta en una convergencia más rápida durante procesos de optimización como el descenso de gradiente.
Avoid these traps
Common Mistakes
- Usar porcentajes en lugar de probabilidades (0.7 no 70).
- Tomar el ln de 0 (q debe estar estrictamente entre 0 y 1).
One free problem
Practice Problem
Un modelo de aprendizaje automático predice una probabilidad de 0.7 (q) de que una imagen contenga un gato. La imagen real es de hecho un gato (p = 1.0). Calcule la entropía cruzada binaria para esta predicción en nats.
Hint: Dado que p = 1, el término (1-p) se vuelve cero, lo que significa que solo necesita calcular -ln(q).
The full worked solution stays in the interactive walkthrough.
References
Sources
- Wikipedia: Cross-entropy
- Elements of Information Theory (2nd ed.) by Thomas M. Cover and Joy A. Thomas
- Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
- Elements of Information Theory (Cover and Thomas)
- Cover, Thomas M., and Joy A. Thomas. Elements of Information Theory. 2nd ed. Wiley-Interscience, 2006.
- Goodfellow, Ian, Yoshua Bengio, and Aaron Courville. Deep Learning. MIT Press, 2016.