Data & ComputingBilgi TeorisiUniversity
AQAAPOntarioNSWCBSEGCE O-LevelMoECAPS

Karşılıklı Bilgi (2×2) Calculator

Ortak olasılıklardan iki ikili değişken arasındaki karşılıklı bilgi.

Use the free calculatorCheck the variablesOpen the advanced solver
Open Advanced Calculator
This is the free calculator preview. Advanced walkthroughs stay in the app.
Result
Ready
Mutual Information

Formula first

Overview

Karşılıklı Bilgi, iki ayrık rastgele değişken arasındaki paylaşılan bilgi miktarını ölçerek istatistiksel bağımlılığı nicelleştirir. 2×2 olasılık tablosu durumunda, ortak olasılık dağılımı ile iki ikili değişkenin marjinal dağılımlarının çarpımı arasındaki Kullback-Leibler ıraksaklığını hesaplar.

Symbols

Variables

I(X;Y) = Mutual Information, = P(X=0,Y=0), = P(X=0,Y=1), = P(X=1,Y=0), = P(X=1,Y=1)

I(X;Y)
Mutual Information
nats
P(X=0,Y=0)
Variable
P(X=0,Y=1)
Variable
P(X=1,Y=0)
Variable
P(X=1,Y=1)
Variable

Apply it well

When To Use

When to use: Bu formülü, bir test sonucunu bir hastalığın varlığıyla karşılaştırmak gibi iki ikili değişken arasındaki ilişkiyi analiz ederken uygulayın. Doğrusal olmayan bağımlılıkları veya genel istatistiksel ilişkiyi yakalamanız gerektiğinde doğrusal korelasyona tercih edilir.

Why it matters: Kanal kapasitesini hesaplamak için iletişim teorisinde ve özellik seçimi için makine öğreniminde temel bir kavramdır. Yüksek karşılıklı bilgi, bir değişkenin durumunu bilmenin diğeri hakkındaki belirsizliği önemli ölçüde azalttığını gösterir.

Avoid these traps

Common Mistakes

  • Olasılıkları 1'e normalize etmeyi unutmak.
  • Logaritmaları (ln vs log2) ve birimleri (nats vs bit) karıştırmak.

One free problem

Practice Problem

Bir araştırmacı belirli bir gen mutasyonu ile nadir bir özellik arasındaki bağlantıyı inceliyor. Tamamen dengeli bir popülasyonda, ortak olasılıkların hepsi eşittir (her biri 0.25). Karşılıklı Bilgiyi hesaplayın.

Hint: Her hücrenin ortak olasılığı, marjinal olasılıklarının çarpımına eşitse, değişkenler bağımsızdır.

The full worked solution stays in the interactive walkthrough.

References

Sources

  1. Cover, Thomas M., and Joy A. Thomas. Elements of Information Theory. 2nd ed. Wiley-Interscience, 2006.
  2. Wikipedia: Mutual Information
  3. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
  4. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley-Interscience.
  5. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.