Data & ComputingAprendizaje AutomáticoA-Level
AQAIBAbiturAPBachilleratoCambridgeCISCEEdexcel

Ganancia de Información

Reducción de la entropía.

Understand the formulaSee the free derivationOpen the full walkthrough
Open Full WalkthroughTry Calculator

This public page keeps the free explanation visible and leaves premium worked solving, advanced walkthroughs, and saved study tools inside the app.

Core idea

Overview

La Ganancia de Información mide la reducción de la incertidumbre, o entropía, dentro de un conjunto de datos después de ser dividido en función de un atributo específico. Es el criterio principal utilizado por algoritmos como ID3 y C4.5 para determinar la mejor característica para dividir un nodo en un árbol de decisión.

When to use: Aplica esta métrica durante la construcción de modelos de aprendizaje supervisado para evaluar el poder predictivo de las variables independientes. Es más eficaz cuando se trabaja con objetivos categóricos donde el objetivo es maximizar la pureza de la clase en los subconjuntos resultantes.

Why it matters: Al identificar las características que ofrecen la mayor Ganancia de Información, se pueden construir modelos con menos niveles, reduciendo la complejidad computacional. Esta eficiencia ayuda a prevenir el sobreajuste y asegura que los patrones de datos más relevantes se prioricen durante el entrenamiento.

Symbols

Variables

IG = Info Gain, = Parent Entropy, = Child Entropy

IG
Info Gain
bits
Parent Entropy
bits
Child Entropy
bits

Walkthrough

Derivation

Fórmula: Ganancia de información

La ganancia de información mide cuánto se reduce la incertidumbre (entropía) al dividir un conjunto de datos usando un atributo, guiando la construcción de árboles de decisión.

  • Un conjunto de datos S se divide en subconjuntos mediante valores v del atributo A.
  • La entropía H() se calcula sobre la distribución de clases dentro de cada subconjunto.
1

Establecer la ganancia de información para una división:

Restar el promedio ponderado de la entropía después de la división de la entropía original antes de la división.

2

Elegir la mejor división:

El atributo con la mayor ganancia de información produce la mayor reducción de incertidumbre en ese nodo.

Note: Algunos algoritmos usan la tasa de ganancia para reducir el sesgo hacia atributos con muchos valores.

Result

Source: Standard curriculum — Machine Learning (Decision Trees)

Visual intuition

Graph

Graph type: logarithmic

Why it behaves this way

Intuition

Imagine una colección mixta de elementos (nodo padre) siendo clasificados en grupos más pequeños y uniformes (nodos hijos) basados en una característica específica, donde la Ganancia de Información mide qué tan más organizado y menos mezclado

Term
La reducción en la incertidumbre o aleatoriedad de un conjunto de datos después de ser particionado según un atributo.
Una mayor Ganancia de Información indica que dividir el conjunto de datos por este atributo hace que los subconjuntos resultantes sean significativamente más predecibles o 'más puros' en términos de sus clases objetivo.
Term
El nivel inicial de incertidumbre o impureza (entropía) en el conjunto de datos antes de realizar cualquier división.
Representa qué tan mezcladas están las clases en el conjunto de datos original; un H(parent) más alto significa que las clases están distribuidas de manera más uniforme y, por lo tanto, son más inciertas.
Term
La incertidumbre o impureza promedio ponderada (entropía) de los subconjuntos creados después de dividir el conjunto de datos por un atributo particular.
Representa qué tan mezcladas están las clases en los subconjuntos resultantes; un H(children) más bajo significa que los subconjuntos son más homogéneos y menos inciertos.

Signs and relationships

  • - H(hijos): La resta de H(children) de H(parent) significa que la Ganancia de Información cuantifica la *reduction* en entropía. Apuntamos a que la entropía de los nodos hijos sea menor que la del nodo padre, por lo que una Ganancia de Información positiva

Free study cues

Insight

Canonical usage

La Ganancia de Información es una puntuación numérica adimensional usada para cuantificar la reducción de entropía en un conjunto de datos.

Dimension note

La Ganancia de Información es una cantidad adimensional derivada de la diferencia entre valores de entropía, que a su vez se calculan a partir de probabilidades.

One free problem

Practice Problem

Un conjunto de datos tiene una entropía inicial de 0.940 bits. Después de dividirlo basándose en una característica específica, el promedio ponderado de la entropía de los nodos hijos es de 0.693 bits. Calcula la Ganancia de Información.

Hint: Resta la entropía de los hijos de la entropía del nodo padre.

The full worked solution stays in the interactive walkthrough.

Where it shows up

Real-World Context

En el caso de choosing a feature split for a spam filter, Information Gain se utiliza para calcular Info Gain from Parent Entropy and Child Entropy. El resultado importa porque ayuda a evaluar la incertidumbre, la dispersión o la evidencia antes de sacar una conclusión de los datos.

Study smarter

Tips

  • Asegúrate de que la entropía de los hijos se calcule como un promedio ponderado basado en el número de muestras en cada rama.
  • Ten en cuenta que la Ganancia de Información puede estar sesgada hacia atributos con un gran número de valores distintos.
  • Una ganancia de cero indica que la división no mejora en absoluto la pureza del conjunto de datos.

Avoid these traps

Common Mistakes

  • Sumar entropías en lugar de restarlas.
  • Mezclar bases de logaritmos.

Common questions

Frequently Asked Questions

La ganancia de información mide cuánto se reduce la incertidumbre (entropía) al dividir un conjunto de datos usando un atributo, guiando la construcción de árboles de decisión.

Aplica esta métrica durante la construcción de modelos de aprendizaje supervisado para evaluar el poder predictivo de las variables independientes. Es más eficaz cuando se trabaja con objetivos categóricos donde el objetivo es maximizar la pureza de la clase en los subconjuntos resultantes.

Al identificar las características que ofrecen la mayor Ganancia de Información, se pueden construir modelos con menos niveles, reduciendo la complejidad computacional. Esta eficiencia ayuda a prevenir el sobreajuste y asegura que los patrones de datos más relevantes se prioricen durante el entrenamiento.

Sumar entropías en lugar de restarlas. Mezclar bases de logaritmos.

En el caso de choosing a feature split for a spam filter, Information Gain se utiliza para calcular Info Gain from Parent Entropy and Child Entropy. El resultado importa porque ayuda a evaluar la incertidumbre, la dispersión o la evidencia antes de sacar una conclusión de los datos.

Asegúrate de que la entropía de los hijos se calcule como un promedio ponderado basado en el número de muestras en cada rama. Ten en cuenta que la Ganancia de Información puede estar sesgada hacia atributos con un gran número de valores distintos. Una ganancia de cero indica que la división no mejora en absoluto la pureza del conjunto de datos.

References

Sources

  1. Wikipedia: Information gain (decision tree)
  2. Wikipedia: Entropy (information theory)
  3. An Introduction to Statistical Learning by Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani
  4. Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.
  5. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer.
  6. Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
  7. Wikipedia: Information gain in decision trees
  8. Standard curriculum — Machine Learning (Decision Trees)