बाइनरी क्रॉस-एन्ट्रॉपी हानि (Binary Cross-Entropy Loss) Calculator
वर्गीकरण के लिए हानि फ़ंक्शन।
Formula first
Overview
बाइनरी क्रॉस-एन्ट्रॉपी हानि, या लॉग लॉस, दो संभाव्यता वितरणों के बीच अंतर को मापता है: वास्तविक बाइनरी लेबल और अनुमानित संभावनाएँ। यह आत्मविश्वास से गलत भविष्यवाणियों पर एक भारी लॉगरिदमिक दंड लागू करता है, जिससे ग्रेडिएंट डिसेंट जैसे अनुकूलन एल्गोरिदम को मॉडल की सटीकता में सुधार करने के लिए निर्देशित किया जाता है।
Symbols
Variables
y = True Label (0/1), p = Predicted Prob, L = Loss
Apply it well
When To Use
When to use: यह फ़ंक्शन विशेष रूप से बाइनरी वर्गीकरण कार्यों के लिए डिज़ाइन किया गया है जहाँ आउटपुट 0 और 1 के बीच एक एकल संभाव्यता मान है। इसका उपयोग सबसे अधिक लॉजिस्टिक रिग्रेशन और न्यूरल नेटवर्क के लिए उद्देश्य फ़ंक्शन के रूप में किया जाता है जो आउटपुट परत में एक सिग्मॉइड सक्रियण फ़ंक्शन का उपयोग करते हैं।
Why it matters: सरल वर्गीकरण त्रुटि के विपरीत, यह हानि फ़ंक्शन विभेदनीय है, जो डीप लर्निंग में बैकप्रोपैगेशन के लिए आवश्यक है। यह सुनिश्चित करता है कि मॉडल को 'अनिश्चित रूप से गलत' होने की तुलना में 'आत्मविश्वास से गलत' होने के लिए अधिक गंभीर रूप से दंडित किया जाता है, जिससे अधिक मजबूत संभाव्य भविष्यवाणियां होती हैं।
Avoid these traps
Common Mistakes
- आधार 10 का उपयोग करना (प्राकृतिक लॉग का उपयोग करें)।
- p=0 या p=1 ठीक (अनंत का कारण बनता है)।
One free problem
Practice Problem
एक चिकित्सा निदान मॉडल भविष्यवाणी करता है कि रोगी को एक विशिष्ट स्थिति होने की 0.85 संभावना है। यदि रोगी को वास्तव में स्थिति है (y=1), तो बाइनरी क्रॉस-एन्ट्रॉपी हानि की गणना करें।
Hint: चूंकि y=1 है, सूत्र L = -ln(p) तक सरल हो जाता है।
The full worked solution stays in the interactive walkthrough.
References
Sources
- Wikipedia: Cross-entropy
- Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
- Deep Learning (Goodfellow, Bengio, Courville)
- Pattern Recognition and Machine Learning (Bishop)
- Goodfellow, Bengio, and Courville Deep Learning
- Bishop Pattern Recognition and Machine Learning
- Standard curriculum — Machine Learning