Bilgi Kazancı Calculator
Entropideki azalma.
Formula first
Overview
Bilgi Kazancı, belirli bir özniteliğe göre bölümlendikten sonra bir veri kümesindeki belirsizlik veya entropideki azalmayı ölçer. ID3 ve C4.5 gibi algoritmaların bir karar ağacında bir düğümü bölmek için en iyi özelliği belirlemede kullandığı birincil ölçüttür.
Symbols
Variables
IG = Info Gain, = Parent Entropy, = Child Entropy
Apply it well
When To Use
When to use: Bağımsız değişkenlerin tahmin gücünü değerlendirmek için denetimli öğrenme modellerinin oluşturulması sırasında bu ölçütü uygulayın. Sonuç alt kümelerinde sınıf saflığını en üst düzeye çıkarmayı amaçlayan kategorik hedeflerle çalışırken en etkilidir.
Why it matters: En yüksek Bilgi Kazancı sunan özellikleri belirleyerek, modeller daha az seviyeyle oluşturulabilir, bu da hesaplama karmaşıklığını azaltır. Bu verimlilik, aşırı uydurmayı önlemeye yardımcı olur ve eğitim sırasında en alakalı veri modellerinin önceliklendirilmesini sağlar.
Avoid these traps
Common Mistakes
- Çıkarmak yerine entropileri toplamak.
- Logaritma tabanlarını karıştırmak.
One free problem
Practice Problem
Bir veri kümesinin başlangıç entropisi 0.940 bittir. Belirli bir özelliğe göre bölündükten sonra, alt düğümlerin ağırlıklı ortalama entropisi 0.693 bittir. Bilgi Kazancını hesaplayın.
Hint: Çocukların entropisini ebeveyn düğümünün entropisinden çıkarın.
The full worked solution stays in the interactive walkthrough.
References
Sources
- Wikipedia: Information gain (decision tree)
- Wikipedia: Entropy (information theory)
- An Introduction to Statistical Learning by Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani
- Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.
- Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer.
- Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
- Wikipedia: Information gain in decision trees
- Standard curriculum — Machine Learning (Decision Trees)