Data & ComputingApprentissage automatiqueA-Level
CambridgeAQAAPOntarioNSWCBSEGCE O-LevelMoE

Entropie croisée binaire Calculator

Fonction de perte pour la classification binaire.

Use the free calculatorCheck the variablesOpen the advanced solver
Open Advanced Calculator
This is the free calculator preview. Advanced walkthroughs stay in the app.
Result
Ready
Loss

Formula first

Overview

L'entropie croisée binaire mesure la divergence entre deux distributions de probabilité, généralement les étiquettes réelles et les probabilités prédites dans une tâche de classification binaire. Elle calcule une valeur de perte qui pénalise exponentiellement les prédictions à mesure qu'elles s'éloignent de la valeur réelle de classe.

Symbols

Variables

L = Loss, y = Actual Label (0/1), p = Predicted Prob

Loss
Variable
Actual Label (0/1)
Variable
Predicted Prob
Variable

Apply it well

When To Use

When to use: Cette équation est la fonction de perte standard pour les problèmes de classification binaire où la sortie est une probabilité unique entre 0 et 1. Elle est la plus efficace lorsqu'elle est associée à une fonction d'activation sigmoïde dans la couche finale d'un réseau de neurones.

Why it matters: Elle fournit une surface lisse et convexe pour l'optimisation, permettant à la descente de gradient de mettre à jour efficacement les poids du modèle. En pénalisant fortement les prédictions confiantes mais incorrectes, elle oblige le modèle à apprendre des frontières plus nettes entre les classes.

Avoid these traps

Common Mistakes

  • Utiliser directement p=0 ou p=1.
  • Oublier le terme (1-y).

One free problem

Practice Problem

Un modèle d'apprentissage automatique identifie une transaction comme frauduleuse (y = 1). La probabilité de fraude prédite par le modèle est de 0,85. Calculez la perte d'entropie croisée binaire pour cette prédiction spécifique.

Hint: Quand y = 1, la formule se simplifie en L = -ln(p).

The full worked solution stays in the interactive walkthrough.

References

Sources

  1. Wikipedia: Cross-entropy
  2. Goodfellow, I., Bengio, Y., Courville, A. (2016). Deep Learning. MIT Press.
  3. Deep Learning (Ian Goodfellow, Yoshua Bengio, and Aaron Courville)
  4. Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. (Chapter 6, Section 6.2.2.2)
  5. Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer. (Chapter 4, Section 4.3.4)
  6. Standard curriculum — Machine Learning (Classification Losses)