क्रॉस-एंट्रॉपी (बर्नोली) Calculator
सच्चे बर्नोली(p) और मॉडल बर्नोली(q) के बीच क्रॉस-एंट्रॉपी।
Formula first
Overview
बर्नोली वितरण के लिए क्रॉस-एंट्रॉपी, वास्तविक बाइनरी संभाव्यता p और अनुमानित संभाव्यता q के बीच विचलन को मापता है। यह बाइनरी क्लासिफिकेशन में उपयोग किया जाने वाला मानक मीट्रिक है जो मॉडल को उनके अनुमानित वितरण वास्तविक लक्ष्य वितरण से कितना भिन्न है, इसके आधार पर दंडित करता है।
Symbols
Variables
H(p,q) = Cross-Entropy, p = True Probability, q = Model Probability
Apply it well
When To Use
When to use: द्विआधारी वर्गीकरण मॉडल का मूल्यांकन करते समय इस समीकरण को लागू करें जहां परिणाम परस्पर अनन्य हैं। यह लॉजिस्टिक रिग्रेशन मॉडल और बाइनरी न्यूरल नेटवर्क के प्रशिक्षण के दौरान उपयोग किया जाने वाला प्राथमिक लॉस फ़ंक्शन है।
Why it matters: यह फ़ंक्शन क्लासिफिकेशन के लिए माध्य वर्ग त्रुटि से बेहतर है क्योंकि यह मॉडल के आत्मविश्वास से गलत होने पर मजबूत ग्रेडिएंट प्रदान करता है। इसके परिणामस्वरूप ग्रेडिएंट डिसेंट जैसी अनुकूलन प्रक्रियाओं के दौरान तेजी से अभिसरण होता है।
Avoid these traps
Common Mistakes
- प्रायिकता के बजाय प्रतिशत का उपयोग करना (0.7 न कि 70)।
- 0 का ln लेना (q सख्ती से 0 और 1 के बीच होना चाहिए)।
One free problem
Practice Problem
एक मशीन लर्निंग मॉडल भविष्यवाणी करता है कि एक छवि में बिल्ली होने की 0.7 प्रायिकता (q) है। वास्तविक छवि वास्तव में एक बिल्ली है (p = 1.0)। इस भविष्यवाणी के लिए बाइनरी क्रॉस-एंट्रॉपी की गणना नैट्स में करें।
Hint: चूंकि p = 1 है, (1-p) पद शून्य हो जाता है, जिसका अर्थ है कि आपको केवल -ln(q) की गणना करने की आवश्यकता है।
The full worked solution stays in the interactive walkthrough.
References
Sources
- Wikipedia: Cross-entropy
- Elements of Information Theory (2nd ed.) by Thomas M. Cover and Joy A. Thomas
- Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
- Elements of Information Theory (Cover and Thomas)
- Cover, Thomas M., and Joy A. Thomas. Elements of Information Theory. 2nd ed. Wiley-Interscience, 2006.
- Goodfellow, Ian, Yoshua Bengio, and Aaron Courville. Deep Learning. MIT Press, 2016.