एन्ट्रॉपी (शैनन)
सूचना/अनिश्चितता का औसत स्तर।
This public page keeps the free explanation visible and leaves premium worked solving, advanced walkthroughs, and saved study tools inside the app.
Core idea
Overview
शैनन एन्ट्रॉपी किसी यादृच्छिक चर के संभावित परिणामों में निहित अनिश्चितता, आश्चर्य या सूचना के औसत स्तर को मापती है। यह संदेश को दर्शाने के लिए आवश्यक बिट्स की न्यूनतम औसत संख्या को परिभाषित करके डेटा संपीड़न के लिए सैद्धांतिक आधार प्रदान करता है।
When to use: हानिरहित डेटा संपीड़न की सीमा निर्धारित करने या असतत प्रायिकता वितरण की अप्रत्याशितता को मापने के लिए इस सूत्र का उपयोग करें। यह तब सबसे प्रभावी होता है जब संभावित परिणामों का सेट सीमित होता है और उनकी प्रायिकताएँ स्वतंत्र और ज्ञात होती हैं।
Why it matters: यह सूचना सिद्धांत का मौलिक मीट्रिक है, जो जिप फाइलों से लेकर स्ट्रीमिंग वीडियो तक, आधुनिक डिजिटल संचार की दक्षता को सक्षम बनाता है। डेटा की सांख्यिकीय संरचना की पहचान करके, यह भंडारण और संचरण बैंडविड्थ के अनुकूलन की अनुमति देता है।
Symbols
Variables
H = Entropy (Bits), p = Probability (p)
Walkthrough
Derivation
सूत्र: शैनन एन्ट्रॉपी
शैनन एन्ट्रॉपी परिणामों की संभावनाओं का उपयोग करके, एक असतत यादृच्छिक चर की औसत अनिश्चितता (सूचना सामग्री) को मापती है।
- X असतत है जिसमें परिणाम और संभावनाएँ =P() हैं।
- =0 वाले पद 0 का योगदान करते हैं (0\log 0 को 0 मानें)।
एन्ट्रॉपी सूत्र बताएं:
परिणामों पर संभावना-भारित सूचना (1/) का योग करें, जिससे प्रति प्रतीक अपेक्षित सूचना प्राप्त होती है।
इकाइयों की व्याख्या करें:
आधार-2 लघुगणक का उपयोग करने का अर्थ है कि एन्ट्रॉपी को बिट्स (बाइनरी अंक) में मापा जाता है।
Note: जब सभी परिणाम समान रूप से संभावित होते हैं तो अधिकतम एन्ट्रॉपी होती है।
Result
Source: AQA A-Level Computer Science — Data Representation
Free formulas
Rearrangements
Solve for
एन्ट्रॉपी (शैनन)
शैनन के एन्ट्रॉपी सूत्र को उसके सामान्य योग रूप से बाइनरी एन्ट्रॉपी के विशिष्ट मामले तक सरल बनाएं, जहां केवल दो संभावित परिणाम हैं।
Difficulty: 2/5
The static page shows the finished rearrangements. The app keeps the full worked algebra walkthrough.
Visual intuition
Graph
Graph type: parabolic
Why it behaves this way
Intuition
शैनन एन्ट्रॉपी एक प्रायिकता वितरण के 'फैलाव' या 'सपाटता' को मापता है: एक अधिक समान वितरण (सभी परिणाम समान रूप से संभावित)
Signs and relationships
- -: 0 और 1 के बीच की प्रायिकताओं p(x) के लिए लघुगणक log_2 p(x) ऋणात्मक होता है। ऋणात्मक चिन्ह यह सुनिश्चित करता है कि सूचना सामग्री -log_2 p(x) एक धनात्मक मात्रा हो, जो बिट्स की संख्या का प्रतिनिधित्व करती है।
Free study cues
Insight
Canonical usage
Shannon entropy quantifies information in units determined by the base of the logarithm used, most commonly bits (for base 2 logarithm).
Dimension note
Shannon entropy is a dimensionless quantity representing the average information content or uncertainty. The probabilities p(x) are themselves dimensionless, and the logarithm of a dimensionless quantity is also
One free problem
Practice Problem
एक निष्पक्ष सिक्के के दो परिणाम होते हैं, चित और पट, प्रत्येक की प्रायिकता 0.5 होती है। एक एकल सिक्का उछाल की शैनन एन्ट्रॉपी की गणना करें।
Hint: जब परिणाम समान रूप से संभावित होते हैं (बाइनरी के लिए p = 0.5), तो एन्ट्रॉपी अपने अधिकतम मान पर होती है।
The full worked solution stays in the interactive walkthrough.
Where it shows up
Real-World Context
एक पक्षपाती सिक्के की अनिश्चितता को मापना। के संदर्भ में, एन्ट्रॉपी (शैनन) मापों को ऐसी मान में बदलने के लिए इस्तेमाल होता है जिसे समझा जा सके। परिणाम इसलिए महत्वपूर्ण है क्योंकि यह मॉडल व्यवहार, एल्गोरिदम लागत या पूर्वानुमान गुणवत्ता का मूल्यांकन करने में मदद करता है।
Study smarter
Tips
- जब सभी परिणाम समान रूप से संभावित होते हैं तो एन्ट्रॉपी अधिकतम होती है।
- जब लघुगणक आधार 2 हो तो इकाइयाँ बिट्स में होती हैं।
- एन्ट्रॉपी हमेशा शून्य या धनात्मक होती है; यह केवल तभी शून्य होती है जब एक परिणाम निश्चित होता है।
- आधार सूत्र का परिवर्तन उपयोग करें: log₂(x) = ln(x) / ln(2)।
Avoid these traps
Common Mistakes
- log2 के बजाय प्राकृतिक लघुगणक का उपयोग करना।
- p और q दोनों पदों को भूल जाना।
Common questions
Frequently Asked Questions
शैनन एन्ट्रॉपी परिणामों की संभावनाओं का उपयोग करके, एक असतत यादृच्छिक चर की औसत अनिश्चितता (सूचना सामग्री) को मापती है।
हानिरहित डेटा संपीड़न की सीमा निर्धारित करने या असतत प्रायिकता वितरण की अप्रत्याशितता को मापने के लिए इस सूत्र का उपयोग करें। यह तब सबसे प्रभावी होता है जब संभावित परिणामों का सेट सीमित होता है और उनकी प्रायिकताएँ स्वतंत्र और ज्ञात होती हैं।
यह सूचना सिद्धांत का मौलिक मीट्रिक है, जो जिप फाइलों से लेकर स्ट्रीमिंग वीडियो तक, आधुनिक डिजिटल संचार की दक्षता को सक्षम बनाता है। डेटा की सांख्यिकीय संरचना की पहचान करके, यह भंडारण और संचरण बैंडविड्थ के अनुकूलन की अनुमति देता है।
log2 के बजाय प्राकृतिक लघुगणक का उपयोग करना। p और q दोनों पदों को भूल जाना।
एक पक्षपाती सिक्के की अनिश्चितता को मापना। के संदर्भ में, एन्ट्रॉपी (शैनन) मापों को ऐसी मान में बदलने के लिए इस्तेमाल होता है जिसे समझा जा सके। परिणाम इसलिए महत्वपूर्ण है क्योंकि यह मॉडल व्यवहार, एल्गोरिदम लागत या पूर्वानुमान गुणवत्ता का मूल्यांकन करने में मदद करता है।
जब सभी परिणाम समान रूप से संभावित होते हैं तो एन्ट्रॉपी अधिकतम होती है। जब लघुगणक आधार 2 हो तो इकाइयाँ बिट्स में होती हैं। एन्ट्रॉपी हमेशा शून्य या धनात्मक होती है; यह केवल तभी शून्य होती है जब एक परिणाम निश्चित होता है। आधार सूत्र का परिवर्तन उपयोग करें: log₂(x) = ln(x) / ln(2)।
References
Sources
- Shannon, C. E. (1948). A Mathematical Theory of Communication.
- Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory.
- Wikipedia: Shannon entropy
- Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.
- Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
- Claude E. Shannon, 'A Mathematical Theory of Communication', Bell System Technical Journal, 1948
- Thomas M. Cover and Joy A. Thomas, 'Elements of Information Theory', 2nd ed., Wiley-Interscience, 2006
- David J. C. MacKay, 'Information Theory, Inference, and Learning Algorithms', Cambridge University Press, 2003