Data & Computingنظرية المعلوماتA-Level
AQAIBAbiturAPBachilleratoCambridgeCISCEEdexcel

الاعتلاج (شانون) Calculator

متوسط مستوى المعلومات/عدم اليقين.

Use the free calculatorCheck the variablesOpen the advanced solver
Open Advanced Calculator
This is the free calculator preview. Advanced walkthroughs stay in the app.
Result
Ready
Entropy (Bits)

Formula first

Overview

يقيس اعتلاج شانون متوسط مستوى عدم اليقين أو المفاجأة أو المعلومات المتأصلة في النتائج المحتملة للمتغير العشوائي. يوفر الأساس النظري لضغط البيانات من خلال تحديد الحد الأدنى لمتوسط عدد البتات المطلوبة لتمثيل رسالة.

Symbols

Variables

H = Entropy (Bits), p = Probability (p)

Entropy (Bits)
bits
Probability (p)
Variable

Apply it well

When To Use

When to use: استخدم هذه الصيغة لتحديد حدود ضغط البيانات غير المفقود أو لقياس عدم القدرة على التنبؤ بتوزيع احتمالي منفصل. وهي الأكثر فعالية عندما تكون مجموعة النتائج المحتملة محدودة وتكون احتمالاتها مستقلة ومعروفة.

Why it matters: إنه المقياس الأساسي لنظرية المعلومات، مما يتيح كفاءة الاتصالات الرقمية الحديثة، من ملفات ZIP إلى بث الفيديو. من خلال تحديد البنية الإحصائية للبيانات، فإنه يسمح بتحسين سعة التخزين وعرض نطاق الإرسال.

Avoid these traps

Common Mistakes

  • استخدام اللوغاريتم الطبيعي بدلاً من log2.
  • نسيان كل من مصطلحي p و q.

One free problem

Practice Problem

عملة عادلة لها نتيجتان، رؤوس وذيول، لكل منهما احتمال 0.5. احسب اعتلاج شانون لقلبة عملة واحدة.

Hint: عندما تكون النتائج متساوية الاحتمال (p = 0.5 للثنائي)، يكون الاعتلاج عند قيمته القصوى.

The full worked solution stays in the interactive walkthrough.

References

Sources

  1. Shannon, C. E. (1948). A Mathematical Theory of Communication.
  2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory.
  3. Wikipedia: Shannon entropy
  4. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.
  5. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
  6. Claude E. Shannon, 'A Mathematical Theory of Communication', Bell System Technical Journal, 1948
  7. Thomas M. Cover and Joy A. Thomas, 'Elements of Information Theory', 2nd ed., Wiley-Interscience, 2006
  8. David J. C. MacKay, 'Information Theory, Inference, and Learning Algorithms', Cambridge University Press, 2003