Data & Computingنظرية المعلوماتUniversity
AQAAPOntarioNSWCBSEGCE O-LevelMoECAPS

تباين كولباك-ليبلر (برنولي)

D_KL(p||q) لتوزيعات برنولي.

Understand the formulaSee the free derivationOpen the full walkthrough
Open Full WalkthroughTry Calculator

This public page keeps the free explanation visible and leaves premium worked solving, advanced walkthroughs, and saved study tools inside the app.

Core idea

Overview

يقيس تباعد كولباك-ليبلر لبرنولي الإنتروبيا النسبية بين توزيعين برنولي، ويحدد مقدار المعلومات المفقودة عند استخدام التوزيع q لتقريب التوزيع p. إنه مقياس غير متماثل يصف المسافة الإحصائية بين نتيجتين ثنائيتين عبر فضاء احتمالي مشترك.

When to use: هذه المعادلة ضرورية عند تقييم أداء مصنفات ثنائية أو عند مقارنة نموذج نظري بترددات ثنائية ملاحظة. يتم تطبيقها بشكل متكرر في التعلم الآلي كمكون لدوال الخسارة مثل الاعتلاج المتقاطع الثنائي وفي سياق اختيار النموذج بناءً على نظرية المعلومات.

Why it matters: توفر طريقة صارمة لقياس 'المفاجأة' أو التكلفة الإضافية المتكبدة عند افتراض مجموعة من الاحتمالات بينما الواقع مختلف. من الناحية العملية، يؤدي تقليل هذا التباعد إلى تحسين نقل البيانات ويضمن أن نماذج التنبؤ قريبة قدر الإمكان من عملية توليد البيانات الحقيقية.

Symbols

Variables

= KL Divergence, p = True Probability, q = Model Probability

KL Divergence
nats
True Probability
Variable
Model Probability
Variable

Walkthrough

Derivation

اشتقاق تباعد KL للمتغيرات بيرنولي

يقيس تباعد KL عدم التطابق بين الاحتمال الحقيقي p واحتمال النموذج q.

  • متغير ثنائي X∈{0,1}.
  • التوزيع الحقيقي: P(X=1)=p.
  • توزيع النموذج: Q(X=1)=q.
1

ابدأ من تعريف تباعد KL:

KL هو نسبة اللوغاريتم المتوقعة للاحتمالات.

2

اكتب احتمالات X=1 و X=0:

يتم تحديد توزيعات بيرنولي من خلال احتمالات نجاحها.

3

قم بتوسيع التوقع:

هذا هو الشكل المغلق القياسي لتباعد KL لبيرنولي.

Result

Visual intuition

Graph

Graph type: quadratic

Why it behaves this way

Intuition

تخيل شريطي رسم بياني مختلفين، يمثل كل منهما توزيع بيرنولي بشريطين (نجاح وفشل). يقيس تباعد KL 'المساحة الإضافية' أو 'المسافة' المطلوبة لوصف الشريط الأول باستخدام

Term
الاحتمال الحقيقي لنتيجة 'النجاح' لتوزيع بيرنولي المرجعي.
يوضح هذا الحد (p) دوره داخل المعادلة، ويربط التعريف الرياضي بالتفسير العملي للنتيجة في هذا الموضع 42.
Term
الاحتمال المتوقع أو التقريبي لنتيجة 'النجاح' لتوزيع بيرنولي للنموذج.
هذا هو تقدير نموذجنا أو فرضيته لاحتمال نفس الحدث.
Term
تباعد كولباك-ليبلر (KL) بين التوزيع الحقيقي 'p' والتوزيع التقريبي 'q'.
هذا هو إجمالي 'فقدان المعلومات' أو 'الإنتروبيا النسبية' عندما نستخدم الاحتمالات من 'q' لوصف النتائج التي تتبع حقًا 'p'. قيمة أعلى تعني أن 'q' تقريب أقل جودة لـ 'p'.
Term
المساهمة في التباعد الإجمالي من نتيجة 'النجاح'.
يوضح هذا الحد (p\ln\frac{p}{q}) دوره داخل المعادلة، ويربط التعريف الرياضي بالتفسير العملي للنتيجة في هذا الموضع 43. الرموز المحفوظة: ، \frac{p}.
Term
المساهمة في التباعد الإجمالي من نتيجة 'الفشل'.
يوضح هذا الحد ((1-p)\frac{1-p}{1-q}) دوره داخل المعادلة، ويربط التعريف الرياضي بالتفسير العملي للنتيجة في هذا الموضع 44. الرموز المحفوظة: ، \frac{1-p}.

Signs and relationships

  • \ln: توضح هذه العبارة سبب ظهور () في الصيغة، وكيف يحافظ على اتجاه العلاقة أو مقدارها في هذا الموضع 45. الرموز المحفوظة: .
  • p: الاحتمالات الحقيقية 'p' و '(1-p)' تعمل كعوامل ترجيح. تضمن أن تباين المعلومات لكل نتيجة (نجاح أو فشل)
  • +: يتم جمع المصطلحين لحساب إجمالي تباين المعلومات المتوقع عبر كلا النتيجتين المحتملتين (النجاح والفشل).

Free study cues

Insight

Canonical usage

تباعد KL هو كمية بلا أبعاد، غالبًا ما يُعبَّر عنها بـ 'nats' أو 'bits' اعتمادًا على أساس اللوغاريتم المستخدم، ولكنه يمثل بشكل أساسي مقياسًا بلا وحدات للمعلومات.

Dimension note

تباعد KL هو بلا أبعاد بطبيعته لأنه يُحسب من الاحتمالات، والتي هي نفسها نسب بلا أبعاد. بينما غالبًا ما يُستخدم 'nats' أو 'bits' للدلالة على وحدة المعلومات، إلا أنها ليست وحدات فيزيائية.

One free problem

Practice Problem

من المعروف أن العملة المعدنية لها احتمال حقيقي لسقوط الرأس p = 0.5. إذا قام باحث بنمذجة هذه العملة باحتمال تقديري q = 0.2، فاحسب تباعد كولباك-ليبلر الناتج بالناتس.

Hint: ضع القيم في الصيغة باستخدام اللوغاريتمات الطبيعية لكل من الحدود p/q و (1-p)/(1-q).

The full worked solution stays in the interactive walkthrough.

Where it shows up

Real-World Context

في سياق تحديد مدى اختلاف الاحتمال المتوقع للنموذج عن الواقع، تُستخدم معادلة تباين كولباك-ليبلر (برنولي) لتحويل القياسات إلى قيمة يمكن تفسيرها. وتكمن أهمية الناتج في أنه يساعد على تقييم سلوك النموذج أو تكلفة الخوارزمية أو جودة التنبؤ قبل استخدام الناتج.

Study smarter

Tips

  • تأكد من أن قيم p و q تظل تمامًا بين 0 و 1 لتجنب اللوغاريتمات الطبيعية للصفر أو اللانهاية.
  • تذكر أن D(p||q) لا تساوي D(q||p)؛ يمثل الترتيب الاتجاه من الحقيقة p إلى النموذج q.
  • التباعد بقيمة 0 يعني دائمًا أن التوزيعين متطابقان تمامًا.

Avoid these traps

Common Mistakes

  • تبديل p و q (يغير القيمة).
  • افتراض أن تباعد كولباك-ليبلر هو مقياس للمسافة (فهو ليس متماثلاً).

Common questions

Frequently Asked Questions

يقيس تباعد KL عدم التطابق بين الاحتمال الحقيقي p واحتمال النموذج q.

هذه المعادلة ضرورية عند تقييم أداء مصنفات ثنائية أو عند مقارنة نموذج نظري بترددات ثنائية ملاحظة. يتم تطبيقها بشكل متكرر في التعلم الآلي كمكون لدوال الخسارة مثل الاعتلاج المتقاطع الثنائي وفي سياق اختيار النموذج بناءً على نظرية المعلومات.

توفر طريقة صارمة لقياس 'المفاجأة' أو التكلفة الإضافية المتكبدة عند افتراض مجموعة من الاحتمالات بينما الواقع مختلف. من الناحية العملية، يؤدي تقليل هذا التباعد إلى تحسين نقل البيانات ويضمن أن نماذج التنبؤ قريبة قدر الإمكان من عملية توليد البيانات الحقيقية.

تبديل p و q (يغير القيمة). افتراض أن تباعد كولباك-ليبلر هو مقياس للمسافة (فهو ليس متماثلاً).

في سياق تحديد مدى اختلاف الاحتمال المتوقع للنموذج عن الواقع، تُستخدم معادلة تباين كولباك-ليبلر (برنولي) لتحويل القياسات إلى قيمة يمكن تفسيرها. وتكمن أهمية الناتج في أنه يساعد على تقييم سلوك النموذج أو تكلفة الخوارزمية أو جودة التنبؤ قبل استخدام الناتج.

تأكد من أن قيم p و q تظل تمامًا بين 0 و 1 لتجنب اللوغاريتمات الطبيعية للصفر أو اللانهاية. تذكر أن D(p||q) لا تساوي D(q||p)؛ يمثل الترتيب الاتجاه من الحقيقة p إلى النموذج q. التباعد بقيمة 0 يعني دائمًا أن التوزيعين متطابقان تمامًا.

References

Sources

  1. Elements of Information Theory by Thomas M. Cover and Joy A. Thomas
  2. Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
  3. Wikipedia: Kullback-Leibler divergence
  4. Cover and Thomas, Elements of Information Theory, 2nd ed.
  5. Wikipedia: Bernoulli distribution
  6. IUPAC Gold Book: relative entropy
  7. Cover and Thomas Elements of Information Theory