Data & Computingالتعلم الآليA-Level
CambridgeAQAAPOntarioNSWCBSEGCE O-LevelMoE

الاعتلاج المتقاطع الثنائي

دالة خسارة للتصنيف الثنائي.

Understand the formulaSee the free derivationOpen the full walkthrough
Open Full WalkthroughTry Calculator

This public page keeps the free explanation visible and leaves premium worked solving, advanced walkthroughs, and saved study tools inside the app.

Core idea

Overview

يقيس الاعتلاج المتقاطع الثنائي التباعد بين توزيعين احتماليين، وعادة ما تكون التسميات الحقيقية والاحتمالات المتوقعة في مهمة التصنيف الثنائي. يحسب قيمة خسارة تعاقب التنبؤات بشكل أسي كلما انحرفت عن قيمة الفئة الفعلية.

When to use: هذه المعادلة هي دالة الخسارة القياسية لمشاكل التصنيف الثنائي حيث يكون الإخراج احتمالًا واحدًا بين 0 و 1. وهي الأكثر فعالية عند اقترانها بدالة تفعيل سيجمويد في الطبقة الأخيرة من الشبكة العصبية.

Why it matters: توفر سطحًا أملسًا ومحدبًا للتحسين، مما يسمح للانحدار التدريجي بتحديث أوزان النموذج بكفاءة. من خلال معاقبة التنبؤات الواثقة ولكن غير الصحيحة بشدة، تجبر النموذج على تعلم حدود أكثر تميزًا بين الفئات.

Symbols

Variables

L = Loss, y = Actual Label (0/1), p = Predicted Prob

Loss
Variable
Actual Label (0/1)
Variable
Predicted Prob
Variable

Walkthrough

Derivation

الصيغة: الإنتروبيا المتقاطعة الثنائية (خسارة السجل)

تقيس الإنتروبيا المتقاطعة الثنائية مدى تطابق الاحتمالات المتوقعة مع التصنيفات الثنائية الحقيقية y، مع معاقبة شديدة للتنبؤات الخاطئة الواثقة.

  • التنبؤات هي احتمالات في (0,1)، وتأتي عادةً من دالة السيجمويد.
  • اللوغاريتمات هي لوغاريتمات طبيعية ما لم يُذكر خلاف ذلك (الاختيار يغير المقياس فقط).
1

اكتب الخسارة لمثال واحد:

إذا كان y=1، فإن -() هو المهم فقط؛ إذا كان y=0، فإن -(1-) هو المهم فقط.

2

المتوسط عبر N من الأمثلة:

خسارة مجموعة البيانات هي متوسط الخسائر الفردية، مما يعطي رقمًا واحدًا لتقليله أثناء التدريب.

Note: عمليًا، يتم قص الاحتمالات بعيدًا عن 0 و1 لتجنب (0).

Result

Source: Standard curriculum — Machine Learning (Classification Losses)

Visual intuition

Graph

Graph type: logarithmic

Why it behaves this way

Intuition

منظر طبيعي حيث يهدف النموذج إلى إيجاد أدنى نقطة، مما يمثل الحد الأدنى من التباين بين احتمالاته المتوقعة وتسميات الفئة الحقيقية، مع منحدرات شديدة تعاقب بشدة الأخطاء الواثقة.

Term
قيمة قياسية تقيس التباين بين التسمية الحقيقية والاحتمال المتوقع لنقطة بيانات واحدة.
قيمة أعلى تشير إلى تنبؤ أسوأ، مما يعني أن النموذج كان 'أكثر خطأ' أو 'أقل ثقة في الإجابة الصحيحة'.
Term
تسمية الفئة الثنائية الفعلية والصحيحة (0 أو 1) لبيانات الإدخال.
هذه هي القيمة الهدف التي يحاول النموذج تعلمها والتنبؤ بها.
Term
احتمال تقدير النموذج بأن التسمية الحقيقية 'y' هي 1.
يمثل مستوى ثقة النموذج في الفئة الإيجابية.
Term
اللوغاريتم الطبيعي للاحتمال المتوقع 'p'.
يعاقب النموذج بشدة عندما يقترب احتماله المتوقع 'p' للفئة الحقيقية من 0 (أي، تنبؤ خاطئ واثق).
Term
اللوغاريتم الطبيعي لاحتمال أن التسمية الحقيقية 'y' هي 0 (أي، 1-p).
يعاقب النموذج بشدة عندما يقترب احتماله المتوقع 'p' للفئة الحقيقية من 1 عندما تكون الفئة الحقيقية 0 (أي، تنبؤ خاطئ واثق).

Signs and relationships

  • -: اللوغاريتم الطبيعي للاحتمال (قيمة بين 0 و 1) سالب دائمًا أو صفر. لضمان أن دالة الخسارة 'L' قيمة غير سالبة يمكن تقليلها إلى الصفر، يتم ضرب التعبير بأكمله

Free study cues

Insight

Canonical usage

تحسب هذه المعادلة قيمة خسارة بلا أبعاد، تمثل التباعد بين تسمية ثنائية حقيقية واحتمال متوقع.

Dimension note

جميع المتغيرات في صيغة الانتروبيا المتقاطعة الثنائية (التسمية الحقيقية 'y'، الاحتمال المتوقع 'p'، والخسارة الناتجة 'L') هي كميات بلا أبعاد.

One free problem

Practice Problem

يحدد نموذج التعلم الآلي معاملة على أنها احتيالية (y = 1). الاحتمال المتوقع للاحتيال من النموذج هو 0.85. احسب خسارة الاعتلاج المتقاطع الثنائي لهذا التنبؤ المحدد.

Hint: عندما يكون y = 1، تبسط الصيغة إلى L = -ln(p).

The full worked solution stays in the interactive walkthrough.

Where it shows up

Real-World Context

في سياق تدريب مصنف البريد العشوائي مع إخراج احتمالي، تُستخدم معادلة الاعتلاج المتقاطع الثنائي لتحويل القياسات إلى قيمة يمكن تفسيرها. وتكمن أهمية الناتج في أنه يساعد على تقييم سلوك النموذج أو تكلفة الخوارزمية أو جودة التنبؤ قبل استخدام الناتج.

Study smarter

Tips

  • تأكد من بقاء القيم المتوقعة p ضمن (0, 1) لتجنب اللوغاريتمات الطبيعية غير المعرفة عند 0 أو 1.
  • الخسارة تساوي 0 فقط إذا كان التنبؤ يطابق التسمية تمامًا.
  • بالنسبة للأهداف متعددة الفئات، استخدم المتغير الكاتيكوري للاعتلاج المتقاطع بدلاً من ذلك.

Avoid these traps

Common Mistakes

  • استخدام p=0 أو p=1 مباشرة.
  • نسيان المصطلح (1-y).

Common questions

Frequently Asked Questions

تقيس الإنتروبيا المتقاطعة الثنائية مدى تطابق الاحتمالات المتوقعة \hat{y} مع التصنيفات الثنائية الحقيقية y، مع معاقبة شديدة للتنبؤات الخاطئة الواثقة.

هذه المعادلة هي دالة الخسارة القياسية لمشاكل التصنيف الثنائي حيث يكون الإخراج احتمالًا واحدًا بين 0 و 1. وهي الأكثر فعالية عند اقترانها بدالة تفعيل سيجمويد في الطبقة الأخيرة من الشبكة العصبية.

توفر سطحًا أملسًا ومحدبًا للتحسين، مما يسمح للانحدار التدريجي بتحديث أوزان النموذج بكفاءة. من خلال معاقبة التنبؤات الواثقة ولكن غير الصحيحة بشدة، تجبر النموذج على تعلم حدود أكثر تميزًا بين الفئات.

استخدام p=0 أو p=1 مباشرة. نسيان المصطلح (1-y).

في سياق تدريب مصنف البريد العشوائي مع إخراج احتمالي، تُستخدم معادلة الاعتلاج المتقاطع الثنائي لتحويل القياسات إلى قيمة يمكن تفسيرها. وتكمن أهمية الناتج في أنه يساعد على تقييم سلوك النموذج أو تكلفة الخوارزمية أو جودة التنبؤ قبل استخدام الناتج.

تأكد من بقاء القيم المتوقعة p ضمن (0, 1) لتجنب اللوغاريتمات الطبيعية غير المعرفة عند 0 أو 1. الخسارة تساوي 0 فقط إذا كان التنبؤ يطابق التسمية تمامًا. بالنسبة للأهداف متعددة الفئات، استخدم المتغير الكاتيكوري للاعتلاج المتقاطع بدلاً من ذلك.

References

Sources

  1. Wikipedia: Cross-entropy
  2. Goodfellow, I., Bengio, Y., Courville, A. (2016). Deep Learning. MIT Press.
  3. Deep Learning (Ian Goodfellow, Yoshua Bengio, and Aaron Courville)
  4. Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. (Chapter 6, Section 6.2.2.2)
  5. Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer. (Chapter 4, Section 4.3.4)
  6. Standard curriculum — Machine Learning (Classification Losses)