خسارة الانتروبيا المتقاطعة الثنائية

Q: What are common mistakes with the خسارة الانتروبيا المتقاطعة الثنائية formula?

استخدام اللوغاريتم الأساس 10 (استخدم اللوغاريتم الطبيعي). p=0 أو p=1 بالضبط (يسبب اللانهاية).

Q: What is a real-world example of the خسارة الانتروبيا المتقاطعة الثنائية formula?

في سياق تدريب مصنف القط/الكلب، تُستخدم معادلة خسارة الانتروبيا المتقاطعة الثنائية لتحويل القياسات إلى قيمة يمكن تفسيرها. وتكمن أهمية الناتج في أنه يساعد على تقييم سلوك النموذج أو تكلفة الخوارزمية أو جودة التنبؤ قبل استخدام الناتج.

Q: What are some study tips for the خسارة الانتروبيا المتقاطعة الثنائية formula?

تجنب احتمالات الإدخال التي تساوي 0 أو 1 بالضبط لمنع عدم الاستقرار العددي أو السجلات الطبيعية غير المعرفة. ستكون قيمة الخسارة 0 فقط إذا تطابق الاحتمال المتوقع تمامًا مع التسمية المستهدفة. في سيناريوهات الفئات المتعددة، استخدم الانتروبيا المتقاطعة الفئوية بدلاً من هذا الاختلاف الثنائي.

Core idea

Overview

تحدد خسارة الانتروبيا المتقاطعة الثنائية، أو خسارة السجل، الفرق بين توزيعين احتماليين: التسميات الثنائية الفعلية والاحتمالات المتوقعة. تطبق عقوبة لوغاريتمية شديدة على التنبؤات الواثقة ولكن غير الصحيحة، موجهةً خوارزميات التحسين مثل الانحدار التدرجي لتحسين دقة النموذج.

When to use: صُممت هذه الدالة خصيصًا لمهام التصنيف الثنائي حيث يكون الإخراج قيمة احتمال واحدة بين 0 و 1. وتُستخدم عادة كدالة هدف للانحدار اللوجستي والشبكات العصبية التي تستخدم دالة تفعيل سيجمويد في طبقة الإخراج.

Why it matters: بخلاف خطأ التصنيف البسيط، فإن دالة الخسارة هذه قابلة للتفاضل، وهو أمر ضروري للانتشار الخلفي في التعلم العميق. تضمن أن يتم معاقبة النموذج بشدة أكبر لكونه 'واثقًا من الخطأ' بدلاً من كونه 'غير متأكد من الخطأ'، مما يؤدي إلى تنبؤات احتمالية أكثر قوة.

Symbols

Variables

y = True Label (0/1), p = Predicted Prob, L = Loss

y

True Label (0/1)

Variable

p

Predicted Prob

Variable

L

Loss

Variable

Walkthrough

Derivation

اشتقاق المعلومات المتقاطعة الثنائية (خسارة اللوغاريتم)

يشتق خسارة المعلومات المتقاطعة الثنائية كاحتمالية سلبية لوغاريتمية لبيانات مُلصَّقة بشكل بارنولي مستقل.

الأهداف هي تصنيفات ثنائية: $y_{i}$ $\in$ \{0,1\}.
الملاحظات مستقلة (i.i.d. لتنظيم الاحتمالية).
مخرجات النموذج تحقق 0 < $\overset{y}{^}$ _i < 1 (احتمالات).

1

كتابة احتمالية بارنولي:

إذا كان $y_{i}$ =1 يساهم الحد $\overset{y}{^}$ _i؛ إذا كان $y_{i}$ =0 يساهم (1- $\overset{y}{^}$ _i). الاستقلال يسمح لنا بالضرب عبر i.

L = i = 1 \prod N \overset{y}{^}_{i}^{y_{i}} (1 - \overset{y}{^}_{i})^{1 - y_{i}}

2

أخذ الاحتمالية اللوغاريتمية:

يُحوِّل اللوغاريتم المنتجات إلى مجاميع ويسهِّل التحسين.

ln L = i = 1 \sum N [y_{i} ln (\overset{y}{^}_{i}) + (1 - y_{i}) ln (1 - \overset{y}{^}_{i})]

3

التحويل إلى هدف تصغير:

تصغير متوسط الاحتمالية اللوغاريتمية السالبة يعادل تعظيم الاحتمالية؛ هذا هو المعلومات المتقاطعة الثنائية.

J = - \frac{1}{N} i = 1 \sum N [y_{i} ln (\overset{y}{^}_{i}) + (1 - y_{i}) ln (1 - \overset{y}{^}_{i})]

Result

J = - \frac{1}{N} i = 1 \sum N [y_{i} ln (\overset{y}{^}_{i}) + (1 - y_{i}) ln (1 - \overset{y}{^}_{i})]

Source: Standard curriculum — Machine Learning

Visual intuition

Graph

Graph type: logarithmic

Why it behaves this way

Intuition

تخيل منظرًا طبيعيًا للعقاب منحنيًا حيث 'عمق' المنحنى يمثل الخسارة. المنظر الطبيعي مسطح (خسارة صفرية) عندما تتطابق التنبؤات تمامًا مع الملصقات الحقيقية، ولكنه ينخفض بشدة إلى وديان عميقة (خسارة عالية)

Term

قيمة الخسارة المحسوبة لتنبؤ واحد.

يشير الخسارة الأعلى إلى تباين أكبر بين الاحتمال المتوقع من النموذج والنتيجة الفعلية، مما يشير إلى حاجة النموذج لضبط معلماته.

Term

الملصق الثنائي الحقيقي للحالة (0 للفئة السلبية، 1 للفئة الإيجابية).

يمثل الحقيقة الأساسية التي يهدف النموذج إلى توقعها بشكل صحيح.

Term

الاحتمالية المتوقعة للنموذج بأن الملصق الحقيقي هو 1 (الفئة الإيجابية).

يوضح هذا الحد (p) دوره داخل المعادلة، ويربط التعريف الرياضي بالتفسير العملي للنتيجة في هذا الموضع 80.

Signs and relationships

-: اللوغاريتم الطبيعي لاحتمال (قيمة بين 0 و 1) يكون دائمًا سالبًا أو صفرًا. الإشارة السالبة السابقة تعكس هذه القيمة، مما يضمن أن دالة الخسارة غير سالبة ويمكن تصغيرها أثناء
ln(): تفرض الدالة اللوغاريتمية عقوبة شديدة عندما يقوم النموذج بتوقع واثق لكنه غير صحيح. على سبيل المثال، إذا كانت التسمية الحقيقية 'y' هي 1 ولكن 'p' قريبة جدًا من 0، يصبح 'ln(p)' عددًا سالبًا كبيرًا

Free study cues

Insight

Canonical usage

خسارة الإنتروبيا التقاطعية الثنائية هي كمية بلا أبعاد تحدد الخطأ بين الاحتمالات المتوقعة والعلامات الثنائية الحقيقية في مهام التصنيف.

Dimension note

خسارة الإنتروبيا التقاطعية الثنائية بلا أبعاد بطبيعتها لأنها تعمل على الاحتمالات والعلامات الثنائية، وهي كميات بلا أبعاد.

Ballpark figures

Quantity:

One free problem

Practice Problem

يتنبأ نموذج تشخيص طبي باحتمالية 0.85 أن المريض مصاب بحالة معينة. إذا كان المريض مصابًا بالحالة بالفعل (y=1)، فاحسب خسارة الانتروبيا المتقاطعة الثنائية.

Hint: بما أن y=1، تبسط الصيغة إلى L = -ln(p).

The full worked solution stays in the interactive walkthrough.

Where it shows up

Real-World Context

في سياق تدريب مصنف القط/الكلب، تُستخدم معادلة خسارة الانتروبيا المتقاطعة الثنائية لتحويل القياسات إلى قيمة يمكن تفسيرها. وتكمن أهمية الناتج في أنه يساعد على تقييم سلوك النموذج أو تكلفة الخوارزمية أو جودة التنبؤ قبل استخدام الناتج.

Study smarter

Tips

تجنب احتمالات الإدخال التي تساوي 0 أو 1 بالضبط لمنع عدم الاستقرار العددي أو السجلات الطبيعية غير المعرفة.
ستكون قيمة الخسارة 0 فقط إذا تطابق الاحتمال المتوقع تمامًا مع التسمية المستهدفة.
في سيناريوهات الفئات المتعددة، استخدم الانتروبيا المتقاطعة الفئوية بدلاً من هذا الاختلاف الثنائي.

Avoid these traps

Common Mistakes

استخدام اللوغاريتم الأساس 10 (استخدم اللوغاريتم الطبيعي).
p=0 أو p=1 بالضبط (يسبب اللانهاية).

Keep going

Related Formulas

Common questions

Frequently Asked Questions

يشتق خسارة المعلومات المتقاطعة الثنائية كاحتمالية سلبية لوغاريتمية لبيانات مُلصَّقة بشكل بارنولي مستقل.

صُممت هذه الدالة خصيصًا لمهام التصنيف الثنائي حيث يكون الإخراج قيمة احتمال واحدة بين 0 و 1. وتُستخدم عادة كدالة هدف للانحدار اللوجستي والشبكات العصبية التي تستخدم دالة تفعيل سيجمويد في طبقة الإخراج.

بخلاف خطأ التصنيف البسيط، فإن دالة الخسارة هذه قابلة للتفاضل، وهو أمر ضروري للانتشار الخلفي في التعلم العميق. تضمن أن يتم معاقبة النموذج بشدة أكبر لكونه 'واثقًا من الخطأ' بدلاً من كونه 'غير متأكد من الخطأ'، مما يؤدي إلى تنبؤات احتمالية أكثر قوة.

استخدام اللوغاريتم الأساس 10 (استخدم اللوغاريتم الطبيعي). p=0 أو p=1 بالضبط (يسبب اللانهاية).

في سياق تدريب مصنف القط/الكلب، تُستخدم معادلة خسارة الانتروبيا المتقاطعة الثنائية لتحويل القياسات إلى قيمة يمكن تفسيرها. وتكمن أهمية الناتج في أنه يساعد على تقييم سلوك النموذج أو تكلفة الخوارزمية أو جودة التنبؤ قبل استخدام الناتج.

تجنب احتمالات الإدخال التي تساوي 0 أو 1 بالضبط لمنع عدم الاستقرار العددي أو السجلات الطبيعية غير المعرفة. ستكون قيمة الخسارة 0 فقط إذا تطابق الاحتمال المتوقع تمامًا مع التسمية المستهدفة. في سيناريوهات الفئات المتعددة، استخدم الانتروبيا المتقاطعة الفئوية بدلاً من هذا الاختلاف الثنائي.

References

Sources

Wikipedia: Cross-entropy
Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
Deep Learning (Goodfellow, Bengio, Courville)
Pattern Recognition and Machine Learning (Bishop)
Goodfellow, Bengio, and Courville Deep Learning
Bishop Pattern Recognition and Machine Learning
Standard curriculum — Machine Learning

Overview

Variables

Derivation

كتابة احتمالية بارنولي:

أخذ الاحتمالية اللوغاريتمية:

التحويل إلى هدف تصغير:

Graph

Intuition

Insight

Practice Problem

Real-World Context

Tips

Common Mistakes

Related Formulas

Binary Cross-Entropy

Cross-Entropy (Bernoulli)

Logistic Function

Frequently Asked Questions

Sources