परस्पर सूचना (2×2) Calculator
संयुक्त संभावनाओं से दो बाइनरी चर के बीच परस्पर सूचना।
Formula first
Overview
परस्पर सूचना दो असतत यादृच्छिक चर के बीच सांख्यिकीय निर्भरता को मापती है, यह मापकर कि उनके बीच कितनी जानकारी साझा की जाती है। 2×2 संयोग मामले में, यह दो बाइनरी चर के संयुक्त संभाव्यता वितरण और सीमांत वितरणों के उत्पाद के बीच कुल्बैक-लीब्लर विचलन की गणना करता है।
Symbols
Variables
I(X;Y) = Mutual Information, = P(X=0,Y=0), = P(X=0,Y=1), = P(X=1,Y=0), = P(X=1,Y=1)
Apply it well
When To Use
When to use: इस सूत्र को दो बाइनरी चर के बीच संबंध का विश्लेषण करते समय लागू करें, जैसे कि परीक्षण परिणाम की तुलना किसी बीमारी की उपस्थिति से करना। जब आपको गैर-रैखिक निर्भरता या सामान्य सांख्यिकीय संबंध को पकड़ने की आवश्यकता होती है तो यह रैखिक सहसंबंध की तुलना में बेहतर होता है।
Why it matters: यह संचार सिद्धांत में चैनल क्षमता की गणना के लिए और मशीन लर्निंग में फ़ीचर चयन के लिए एक मौलिक अवधारणा है। उच्च परस्पर सूचना इंगित करती है कि एक चर की स्थिति जानने से दूसरे के बारे में अनिश्चितता काफी कम हो जाती है।
Avoid these traps
Common Mistakes
- संभावनाओं को 1 तक जोड़ने के लिए सामान्यीकृत करना भूलना।
- लॉग (ln बनाम log2) और इकाइयों (nats बनाम bits) को मिलाना।
One free problem
Practice Problem
एक शोधकर्ता एक विशिष्ट जीन उत्परिवर्तन और एक दुर्लभ लक्षण के बीच संबंध का अध्ययन कर रहा है। एक पूरी तरह से संतुलित आबादी में, संयुक्त संभावनाएँ सभी बराबर (प्रत्येक 0.25) हैं। परस्पर सूचना की गणना करें।
Hint: यदि प्रत्येक सेल की संयुक्त संभावना उसके सीमांत संभावनाओं के उत्पाद के बराबर है, तो चर स्वतंत्र हैं।
The full worked solution stays in the interactive walkthrough.
References
Sources
- Cover, Thomas M., and Joy A. Thomas. Elements of Information Theory. 2nd ed. Wiley-Interscience, 2006.
- Wikipedia: Mutual Information
- Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
- Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley-Interscience.
- Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.