बाइनरी क्रॉस-एन्ट्रॉपी हानि (Binary Cross-Entropy Loss)

Q: What are common mistakes with the बाइनरी क्रॉस-एन्ट्रॉपी हानि (Binary Cross-Entropy Loss) formula?

आधार 10 का उपयोग करना (प्राकृतिक लॉग का उपयोग करें)। p=0 या p=1 ठीक (अनंत का कारण बनता है)।

Q: What is a real-world example of the बाइनरी क्रॉस-एन्ट्रॉपी हानि (Binary Cross-Entropy Loss) formula?

बिल्ली/कुत्ते क्लासिफायर को प्रशिक्षित करना। के संदर्भ में, बाइनरी क्रॉस-एन्ट्रॉपी हानि (Binary Cross-Entropy Loss) मापों को ऐसी मान में बदलने के लिए इस्तेमाल होता है जिसे समझा जा सके। परिणाम इसलिए महत्वपूर्ण है क्योंकि यह मॉडल व्यवहार, एल्गोरिदम लागत या पूर्वानुमान गुणवत्ता का मूल्यांकन करने में मदद करता है।

Q: What are some study tips for the बाइनरी क्रॉस-एन्ट्रॉपी हानि (Binary Cross-Entropy Loss) formula?

संख्यात्मक अस्थिरता या अपरिभाषित प्राकृतिक लॉग को रोकने के लिए 0 या 1 की सटीक इनपुट संभावनाओं से बचें। यदि अनुमानित संभावना लक्ष्य लेबल से पूरी तरह मेल खाती है तो हानि मान 0 होगा। बहु-वर्ग परिदृश्यों में, इस बाइनरी भिन्नता के बजाय श्रेणीबद्ध क्रॉस-एन्ट्रॉपी का उपयोग करें।

Core idea

Overview

बाइनरी क्रॉस-एन्ट्रॉपी हानि, या लॉग लॉस, दो संभाव्यता वितरणों के बीच अंतर को मापता है: वास्तविक बाइनरी लेबल और अनुमानित संभावनाएँ। यह आत्मविश्वास से गलत भविष्यवाणियों पर एक भारी लॉगरिदमिक दंड लागू करता है, जिससे ग्रेडिएंट डिसेंट जैसे अनुकूलन एल्गोरिदम को मॉडल की सटीकता में सुधार करने के लिए निर्देशित किया जाता है।

When to use: यह फ़ंक्शन विशेष रूप से बाइनरी वर्गीकरण कार्यों के लिए डिज़ाइन किया गया है जहाँ आउटपुट 0 और 1 के बीच एक एकल संभाव्यता मान है। इसका उपयोग सबसे अधिक लॉजिस्टिक रिग्रेशन और न्यूरल नेटवर्क के लिए उद्देश्य फ़ंक्शन के रूप में किया जाता है जो आउटपुट परत में एक सिग्मॉइड सक्रियण फ़ंक्शन का उपयोग करते हैं।

Why it matters: सरल वर्गीकरण त्रुटि के विपरीत, यह हानि फ़ंक्शन विभेदनीय है, जो डीप लर्निंग में बैकप्रोपैगेशन के लिए आवश्यक है। यह सुनिश्चित करता है कि मॉडल को 'अनिश्चित रूप से गलत' होने की तुलना में 'आत्मविश्वास से गलत' होने के लिए अधिक गंभीर रूप से दंडित किया जाता है, जिससे अधिक मजबूत संभाव्य भविष्यवाणियां होती हैं।

Symbols

Variables

y = True Label (0/1), p = Predicted Prob, L = Loss

y

True Label (0/1)

Variable

p

Predicted Prob

Variable

L

Loss

Variable

Walkthrough

Derivation

बाइनरी क्रॉस-एन्ट्रॉपी हानि (Binary Cross-Entropy Loss)

स्वतंत्र बर्नोली-लेबल वाले डेटा के लिए नकारात्मक लॉग-संभावना के रूप में बाइनरी क्रॉस-एन्ट्रॉपी हानि प्राप्त करता है।

लक्ष्य बाइनरी लेबल हैं: $y_{i}$ $\in$ \{0,1\}।
अवलोकन स्वतंत्र हैं (संभावना गुणनखंडन के लिए i.i.d.)।
मॉडल आउटपुट 0 < $\overset{y}{^}$ _i < 1 (संभावनाएं) को संतुष्ट करते हैं।

1

बर्नोली संभावना लिखें:

यदि $y_{i}$ =1 है तो पद $\overset{y}{^}$ _i का योगदान होता है; यदि $y_{i}$ =0 है तो (1- $\overset{y}{^}$ _i) का योगदान होता है। स्वतंत्रता हमें i पर गुणा करने देती है।

L = i = 1 \prod N \overset{y}{^}_{i}^{y_{i}} (1 - \overset{y}{^}_{i})^{1 - y_{i}}

2

लॉग-संभावना लें:

लॉग उत्पादों को योग में बदल देता है और अनुकूलन को आसान बनाता है।

ln L = i = 1 \sum N [y_{i} ln (\overset{y}{^}_{i}) + (1 - y_{i}) ln (1 - \overset{y}{^}_{i})]

3

न्यूनीकरण उद्देश्य में परिवर्तित करें:

नकारात्मक औसत लॉग-संभावना को कम करना संभावना को अधिकतम करने के बराबर है; यह बाइनरी क्रॉस-एन्ट्रॉपी है।

J = - \frac{1}{N} i = 1 \sum N [y_{i} ln (\overset{y}{^}_{i}) + (1 - y_{i}) ln (1 - \overset{y}{^}_{i})]

Result

J = - \frac{1}{N} i = 1 \sum N [y_{i} ln (\overset{y}{^}_{i}) + (1 - y_{i}) ln (1 - \overset{y}{^}_{i})]

Source: Standard curriculum — Machine Learning

Visual intuition

Graph

Graph type: logarithmic

Why it behaves this way

Intuition

एक घुमावदार दंड परिदृश्य की कल्पना करें जहां वक्र की 'गहराई' हानि का प्रतिनिधित्व करती है। परिदृश्य समतल (शून्य हानि) है जब भविष्यवाणियां वास्तविक लेबल से पूरी तरह मेल खाती हैं, लेकिन यह खड़ी घाटियों (उच्च

Term

एकल भविष्यवाणी के लिए गणना की गई हानि मान।

एक उच्च हानि मॉडल की अनुमानित संभावना और वास्तविक परिणाम के बीच एक बड़े अंतर को इंगित करती है, जो मॉडल को अपने मापदंडों को समायोजित करने की आवश्यकता का संकेत देती है।

Term

इंस्टेंस के लिए वास्तविक बाइनरी लेबल (0 नकारात्मक वर्ग के लिए, 1 सकारात्मक वर्ग के लिए)।

वह ग्राउंड ट्रुथ का प्रतिनिधित्व करता है जिसे मॉडल सही ढंग से भविष्यवाणी करने का लक्ष्य रखता है।

Term

मॉडल की अनुमानित संभावना है कि वास्तविक लेबल 1 (सकारात्मक वर्ग) है।

सकारात्मक परिणाम के लिए मॉडल के आत्मविश्वास को दर्शाता है, जो 0 (निश्चित रूप से नकारात्मक) से 1 (निश्चित रूप से सकारात्मक) तक होता है।

Signs and relationships

-: एक संभावना (0 और 1 के बीच का मान) का प्राकृतिक लघुगणक हमेशा नकारात्मक या शून्य होता है। अग्रणी नकारात्मक चिह्न इस मान को उलट देता है, यह सुनिश्चित करता है कि हानि फ़ंक्शन गैर-नकारात्मक है और प्रशिक्षण के दौरान इसे कम किया जा सकता है।
ln(): लघुगणकीय फ़ंक्शन तब एक भारी दंड लगाता है जब मॉडल एक आत्मविश्वास से भरी लेकिन गलत भविष्यवाणी करता है। उदाहरण के लिए, यदि वास्तविक लेबल 'y' 1 है लेकिन 'p' 0 के बहुत करीब है, तो 'ln(p)' एक बड़ी नकारात्मक संख्या बन जाती है

Free study cues

Insight

Canonical usage

Binary Cross-Entropy Loss is a dimensionless quantity that quantifies the error between predicted probabilities and true binary labels in classification tasks.

Dimension note

Binary Cross-Entropy Loss is inherently dimensionless because it operates on probabilities and binary labels, which are dimensionless quantities.

Ballpark figures

Quantity:

One free problem

Practice Problem

एक चिकित्सा निदान मॉडल भविष्यवाणी करता है कि रोगी को एक विशिष्ट स्थिति होने की 0.85 संभावना है। यदि रोगी को वास्तव में स्थिति है (y=1), तो बाइनरी क्रॉस-एन्ट्रॉपी हानि की गणना करें।

Hint: चूंकि y=1 है, सूत्र L = -ln(p) तक सरल हो जाता है।

The full worked solution stays in the interactive walkthrough.

Where it shows up

Real-World Context

बिल्ली/कुत्ते क्लासिफायर को प्रशिक्षित करना। के संदर्भ में, बाइनरी क्रॉस-एन्ट्रॉपी हानि (Binary Cross-Entropy Loss) मापों को ऐसी मान में बदलने के लिए इस्तेमाल होता है जिसे समझा जा सके। परिणाम इसलिए महत्वपूर्ण है क्योंकि यह मॉडल व्यवहार, एल्गोरिदम लागत या पूर्वानुमान गुणवत्ता का मूल्यांकन करने में मदद करता है।

Study smarter

Tips

संख्यात्मक अस्थिरता या अपरिभाषित प्राकृतिक लॉग को रोकने के लिए 0 या 1 की सटीक इनपुट संभावनाओं से बचें।
यदि अनुमानित संभावना लक्ष्य लेबल से पूरी तरह मेल खाती है तो हानि मान 0 होगा।
बहु-वर्ग परिदृश्यों में, इस बाइनरी भिन्नता के बजाय श्रेणीबद्ध क्रॉस-एन्ट्रॉपी का उपयोग करें।

Avoid these traps

Common Mistakes

आधार 10 का उपयोग करना (प्राकृतिक लॉग का उपयोग करें)।
p=0 या p=1 ठीक (अनंत का कारण बनता है)।

Keep going

Related Formulas

Common questions

Frequently Asked Questions

स्वतंत्र बर्नोली-लेबल वाले डेटा के लिए नकारात्मक लॉग-संभावना के रूप में बाइनरी क्रॉस-एन्ट्रॉपी हानि प्राप्त करता है।

यह फ़ंक्शन विशेष रूप से बाइनरी वर्गीकरण कार्यों के लिए डिज़ाइन किया गया है जहाँ आउटपुट 0 और 1 के बीच एक एकल संभाव्यता मान है। इसका उपयोग सबसे अधिक लॉजिस्टिक रिग्रेशन और न्यूरल नेटवर्क के लिए उद्देश्य फ़ंक्शन के रूप में किया जाता है जो आउटपुट परत में एक सिग्मॉइड सक्रियण फ़ंक्शन का उपयोग करते हैं।

सरल वर्गीकरण त्रुटि के विपरीत, यह हानि फ़ंक्शन विभेदनीय है, जो डीप लर्निंग में बैकप्रोपैगेशन के लिए आवश्यक है। यह सुनिश्चित करता है कि मॉडल को 'अनिश्चित रूप से गलत' होने की तुलना में 'आत्मविश्वास से गलत' होने के लिए अधिक गंभीर रूप से दंडित किया जाता है, जिससे अधिक मजबूत संभाव्य भविष्यवाणियां होती हैं।

आधार 10 का उपयोग करना (प्राकृतिक लॉग का उपयोग करें)। p=0 या p=1 ठीक (अनंत का कारण बनता है)।

बिल्ली/कुत्ते क्लासिफायर को प्रशिक्षित करना। के संदर्भ में, बाइनरी क्रॉस-एन्ट्रॉपी हानि (Binary Cross-Entropy Loss) मापों को ऐसी मान में बदलने के लिए इस्तेमाल होता है जिसे समझा जा सके। परिणाम इसलिए महत्वपूर्ण है क्योंकि यह मॉडल व्यवहार, एल्गोरिदम लागत या पूर्वानुमान गुणवत्ता का मूल्यांकन करने में मदद करता है।

संख्यात्मक अस्थिरता या अपरिभाषित प्राकृतिक लॉग को रोकने के लिए 0 या 1 की सटीक इनपुट संभावनाओं से बचें। यदि अनुमानित संभावना लक्ष्य लेबल से पूरी तरह मेल खाती है तो हानि मान 0 होगा। बहु-वर्ग परिदृश्यों में, इस बाइनरी भिन्नता के बजाय श्रेणीबद्ध क्रॉस-एन्ट्रॉपी का उपयोग करें।

References

Sources

Wikipedia: Cross-entropy
Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
Deep Learning (Goodfellow, Bengio, Courville)
Pattern Recognition and Machine Learning (Bishop)
Goodfellow, Bengio, and Courville Deep Learning
Bishop Pattern Recognition and Machine Learning
Standard curriculum — Machine Learning

Overview

Variables

Derivation

बर्नोली संभावना लिखें:

लॉग-संभावना लें:

न्यूनीकरण उद्देश्य में परिवर्तित करें:

Graph

Intuition

Insight

Practice Problem

Real-World Context

Tips

Common Mistakes

Related Formulas

Binary Cross-Entropy

Cross-Entropy (Bernoulli)

Logistic Function

Frequently Asked Questions

Sources