Ganancia de Información Calculator

Formula first

Overview

La Ganancia de Información mide la reducción de la incertidumbre, o entropía, dentro de un conjunto de datos después de ser dividido en función de un atributo específico. Es el criterio principal utilizado por algoritmos como ID3 y C4.5 para determinar la mejor característica para dividir un nodo en un árbol de decisión.

Symbols

Variables

IG = Info Gain, $H_p$ = Parent Entropy, $H_c$ = Child Entropy

Apply it well

When To Use

When to use: Aplica esta métrica durante la construcción de modelos de aprendizaje supervisado para evaluar el poder predictivo de las variables independientes. Es más eficaz cuando se trabaja con objetivos categóricos donde el objetivo es maximizar la pureza de la clase en los subconjuntos resultantes.

Why it matters: Al identificar las características que ofrecen la mayor Ganancia de Información, se pueden construir modelos con menos niveles, reduciendo la complejidad computacional. Esta eficiencia ayuda a prevenir el sobreajuste y asegura que los patrones de datos más relevantes se prioricen durante el entrenamiento.

Avoid these traps

Common Mistakes

• Sumar entropías en lugar de restarlas.
• Mezclar bases de logaritmos.

One free problem

Practice Problem

Un conjunto de datos tiene una entropía inicial de 0.940 bits. Después de dividirlo basándose en una característica específica, el promedio ponderado de la entropía de los nodos hijos es de 0.693 bits. Calcula la Ganancia de Información.

Hint: Resta la entropía de los hijos de la entropía del nodo padre.

The full worked solution stays in the interactive walkthrough.

Keep going

Related Formulas

References

Sources

1. Wikipedia: Information gain (decision tree)
2. Wikipedia: Entropy (information theory)
3. An Introduction to Statistical Learning by Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani
4. Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.
5. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer.
6. Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
7. Wikipedia: Information gain in decision trees
8. Standard curriculum — Machine Learning (Decision Trees)