Çapraz Entropi (Bernoulli) Calculator
Gerçek Bernoulli(p) ve model Bernoulli(q) arasındaki çapraz entropi.
Formula first
Overview
Bernoulli dağılımı için çapraz entropi, gerçek ikili olasılık p ile tahmin edilen olasılık q arasındaki sapmayı nicelendirir. Tahmin edilen dağılımlarının gerçek hedef dağılımdan ne kadar farklı olduğuna göre modelleri cezalandırmak için ikili sınıflandırmada kullanılan standart metriktir.
Symbols
Variables
H(p,q) = Cross-Entropy, p = True Probability, q = Model Probability
Apply it well
When To Use
When to use: Bu denklemi, sonuçların karşılıklı olarak birbirini dışladığı ikili sınıflandırma modellerini değerlendirirken uygulayın. Lojistik regresyon modellerinin ve ikili sinir ağlarının eğitimi sırasında kullanılan birincil kayıp fonksiyonudur.
Why it matters: Bu fonksiyon, model güvenle yanlış olduğunda daha güçlü gradyanlar sağladığı için sınıflandırma için ortalama kare hatadan daha üstündür. Bu, gradyan inişi gibi optimizasyon süreçlerinde daha hızlı yakınsama ile sonuçlanır.
Avoid these traps
Common Mistakes
- Yüzdeler yerine olasılıklar kullanma (70 değil 0.7).
- 0'ın ln'sini alma (q kesinlikle 0 ile 1 arasında olmalı).
One free problem
Practice Problem
Bir makine öğrenimi modeli, bir resmin kedi içerdiğine dair 0.7 olasılık (q) tahmin eder. Gerçek resim gerçekten bir kedidir (p = 1.0). Bu tahmin için ikili çapraz entropiyi nats cinsinden hesaplayın.
Hint: p = 1 olduğundan, (1-p) terimi sıfır olur, bu da sadece -ln(q) hesaplamanız gerektiği anlamına gelir.
The full worked solution stays in the interactive walkthrough.
References
Sources
- Wikipedia: Cross-entropy
- Elements of Information Theory (2nd ed.) by Thomas M. Cover and Joy A. Thomas
- Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
- Elements of Information Theory (Cover and Thomas)
- Cover, Thomas M., and Joy A. Thomas. Elements of Information Theory. 2nd ed. Wiley-Interscience, 2006.
- Goodfellow, Ian, Yoshua Bengio, and Aaron Courville. Deep Learning. MIT Press, 2016.