İkili Çapraz Entropi Calculator
İkili sınıflandırma için kayıp fonksiyonu.
Formula first
Overview
İkili Çapraz Entropi, ikili sınıflandırma görevinde tipik olarak gerçek etiketler ile tahmini olasılıklar arasındaki iki olasılık dağılımının ayrımını ölçer. Gerçek sınıf değerinden saptıkça tahminleri katlanarak cezalandıran bir kayıp değeri hesaplar.
Symbols
Variables
L = Loss, y = Actual Label (0/1), p = Predicted Prob
Apply it well
When To Use
When to use: Bu denklem, çıktının 0 ile 1 arasında tek bir olasılık olduğu ikili sınıflandırma problemleri için standart kayıp fonksiyonudur. Bir sinir ağının son katmanında sigmoid aktivasyon fonksiyonu ile eşleştirildiğinde en etkilidir.
Why it matters: Optimizasyon için düzgün, dışbükey bir yüzey sağlar ve gradyan inişinin model ağırlıklarını etkili bir şekilde güncellemesine olanak tanır. Kendinden emin ancak yanlış tahminleri ağır bir şekilde cezalandırarak, modeli sınıflar arasında daha belirgin sınırlar öğrenmeye zorlar.
Avoid these traps
Common Mistakes
- Doğrudan p=0 veya p=1 kullanmak.
- (1-y) terimini unutmak.
One free problem
Practice Problem
Bir makine öğrenimi modeli bir işlemi hileli olarak tanımlar (y = 1). Modelin hile olasılığı 0.85'tir. Bu özel tahmin için ikili çapraz entropi kaybını hesaplayın.
Hint: y = 1 olduğunda, formül L = -ln(p) olarak basitleşir.
The full worked solution stays in the interactive walkthrough.
References
Sources
- Wikipedia: Cross-entropy
- Goodfellow, I., Bengio, Y., Courville, A. (2016). Deep Learning. MIT Press.
- Deep Learning (Ian Goodfellow, Yoshua Bengio, and Aaron Courville)
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. (Chapter 6, Section 6.2.2.2)
- Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer. (Chapter 4, Section 4.3.4)
- Standard curriculum — Machine Learning (Classification Losses)