Data & Computingसूचना सिद्धांतUniversity
AQAAPOntarioNSWCBSEGCE O-LevelMoECAPS

KL विचलन (बर्नोली) Calculator

बर्नोली वितरण के लिए D_KL(p||q).

Use the free calculatorCheck the variablesOpen the advanced solver
Open Advanced Calculator
This is the free calculator preview. Advanced walkthroughs stay in the app.
Result
Ready
KL Divergence

Formula first

Overview

बर्नोली KL विचलन दो बर्नोली वितरणों के बीच सापेक्ष एन्ट्रॉपी को मापता है, जब वितरण q का उपयोग वितरण p का अनुमान लगाने के लिए किया जाता है तो खोई हुई जानकारी को मापता है। यह एक गैर-सममित मीट्रिक है जो एक साझा संभाव्यता स्थान पर दो बाइनरी परिणामों के बीच सांख्यिकीय दूरी की विशेषता बताता है।

Symbols

Variables

= KL Divergence, p = True Probability, q = Model Probability

KL Divergence
nats
True Probability
Variable
Model Probability
Variable

Apply it well

When To Use

When to use: यह समीकरण बाइनरी क्लासिफायर के प्रदर्शन का मूल्यांकन करते समय या सैद्धांतिक मॉडल की तुलना देखी गई बाइनरी आवृत्तियों से करते समय आवश्यक है। इसका उपयोग अक्सर मशीन लर्निंग में बाइनरी क्रॉस-एन्ट्रॉपी जैसे लॉस फंक्शन के एक घटक के रूप में और सूचना-सैद्धांतिक मॉडल चयन के संदर्भ में किया जाता है।

Why it matters: यह एक कठोर तरीका प्रदान करता है जिससे 'आश्चर्य' या अतिरिक्त लागत को मापा जा सकता है, जब एक संभाव्यता का एक सेट माना जाता है जबकि वास्तविकता अलग होती है। व्यवहार में, इस विचलन को कम करने से डेटा ट्रांसमिशन का अनुकूलन होता है और यह सुनिश्चित होता है कि भविष्य कहनेवाला मॉडल वास्तविक डेटा उत्पादन प्रक्रिया के यथासंभव करीब हों।

Avoid these traps

Common Mistakes

  • p और q को आपस में बदलना (मान बदल देता है)।
  • KL को एक दूरी मीट्रिक मानना (यह सममित नहीं है)।

One free problem

Practice Problem

एक सिक्का ज्ञात है कि चित आने की वास्तविक संभाव्यता p = 0.5 है। यदि कोई शोधकर्ता इस सिक्के को अनुमानित संभाव्यता q = 0.2 के साथ मॉडल करता है, तो nats में परिणामी KL विचलन की गणना करें।

Hint: p/q और (1-p)/(1-q) दोनों पदों के लिए प्राकृतिक लघुगणक का उपयोग करके मानों को सूत्र में प्लग करें।

The full worked solution stays in the interactive walkthrough.

References

Sources

  1. Elements of Information Theory by Thomas M. Cover and Joy A. Thomas
  2. Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
  3. Wikipedia: Kullback-Leibler divergence
  4. Cover and Thomas, Elements of Information Theory, 2nd ed.
  5. Wikipedia: Bernoulli distribution
  6. IUPAC Gold Book: relative entropy
  7. Cover and Thomas Elements of Information Theory