Data & Computing情報理論University
AQAAPOntarioNSWCBSEGCE O-LevelMoECAPS

相互情報量(2×2) Calculator

同時確率から得られる2つの二値変数間の相互情報量。

Use the free calculatorCheck the variablesOpen the advanced solver
Open Advanced Calculator
This is the free calculator preview. Advanced walkthroughs stay in the app.
Result
Ready
Mutual Information

Formula first

Overview

相互情報量は、2つの離散確率変数間で共有される情報の量を測定することにより、それらの統計的依存性を定量化します。2×2分割表の場合、結合確率分布と2つの二値変数の周辺分布の積の間のカルバック・ライブラーダイバージェンスを計算します。

Symbols

Variables

I(X;Y) = Mutual Information, = P(X=0,Y=0), = P(X=0,Y=1), = P(X=1,Y=0), = P(X=1,Y=1)

I(X;Y)
Mutual Information
nats
P(X=0,Y=0)
Variable
P(X=0,Y=1)
Variable
P(X=1,Y=0)
Variable
P(X=1,Y=1)
Variable

Apply it well

When To Use

When to use: テスト結果と疾患の有無を比較するなど、二値変数間の関係を分析する場合にこの式を適用します。非線形依存関係や一般的な統計的関連性を捉える必要がある場合、線形相関よりも好まれます。

Why it matters: これは、通信理論におけるチャネル容量の計算や、機械学習における特徴選択の基礎となる概念です。高い相互情報量は、一方の変数の状態を知ることで、他方の変数に関する不確実性が大幅に減少することを示します。

Avoid these traps

Common Mistakes

  • 確率の合計が 1 になるよう正規化し忘れること。
  • 対数（ln と log2）と単位（nats と bits）を混在させること。

One free problem

Practice Problem

研究者が特定の遺伝子変異と稀な形質との関連を研究しています。完全にバランスの取れた集団では、同時確率はすべて等しく（各0.25）です。相互情報量を計算してください。

Hint: すべてのセルの同時確率がその周辺確率の積に等しい場合、変数は独立です。

The full worked solution stays in the interactive walkthrough.

References

Sources

  1. Cover, Thomas M., and Joy A. Thomas. Elements of Information Theory. 2nd ed. Wiley-Interscience, 2006.
  2. Wikipedia: Mutual Information
  3. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
  4. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley-Interscience.
  5. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.