KL Diverjansı (Bernoulli) Calculator

Formula first

Overview

Bernoulli KL ıraksaklığı, iki Bernoulli dağılımı arasındaki göreceli entropiyi ölçer ve q dağılımı p dağılımını yaklaştırmak için kullanıldığında kaybedilen bilgiyi nicelleştirir. Paylaşılan bir olasılık uzayındaki iki ikili sonuç arasındaki istatistiksel mesafeyi karakterize eden asimetrik bir metriktir.

Symbols

Variables

$D_{KL}$ = KL Divergence, p = True Probability, q = Model Probability

Apply it well

When To Use

When to use: Bu denklem, ikili sınıflandırıcıların performansını değerlendirirken veya teorik bir modeli gözlemlenen ikili frekanslarla karşılaştırırken çok önemlidir. Makine öğreniminde İkili Çapraz Entropi gibi kayıp fonksiyonlarının bir bileşeni olarak ve bilgi teorik model seçimi bağlamında sıklıkla uygulanır.

Why it matters: Gerçek farklıyken bir olasılık kümesini varsaymanın neden olduğu 'sürprizi' veya ek maliyeti ölçmek için titiz bir yol sağlar. Pratikte, bu ıraksaklığı en aza indirmek veri iletimini optimize eder ve tahmini modellerin gerçek veri üretim sürecine mümkün olduğunca yakın olmasını sağlar.

Avoid these traps

Common Mistakes

• p ve q'yu değiştirmek (değeri değiştirir).
• KL'nin bir mesafe metriği olduğunu varsaymak (asimetrik değildir).

One free problem

Practice Problem

Bir madalyonun tura gelme olasılığının p = 0.5 olduğu bilinmektedir. Bir araştırmacı bu madalyonu tahmini olasılık q = 0.2 ile modelliyorsa, ortaya çıkan KL Diverjansını nats cinsinden hesaplayın.

Hint: Hem p/q hem de (1-p)/(1-q) terimleri için doğal logaritmaları kullanarak değerleri formüle yerleştirin.

The full worked solution stays in the interactive walkthrough.

Keep going

Related Formulas

References

Sources

1. Elements of Information Theory by Thomas M. Cover and Joy A. Thomas
2. Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
3. Wikipedia: Kullback-Leibler divergence
4. Cover and Thomas, Elements of Information Theory, 2nd ed.
5. Wikipedia: Bernoulli distribution
6. IUPAC Gold Book: relative entropy
7. Cover and Thomas Elements of Information Theory