Data & Computing機械学習A-Level
AQAIBAbiturAPBachilleratoCambridgeCISCEEdexcel

情報利得

エントロピーの減少。

Understand the formulaSee the free derivationOpen the full walkthrough
Open Full WalkthroughTry Calculator

This public page keeps the free explanation visible and leaves premium worked solving, advanced walkthroughs, and saved study tools inside the app.

Core idea

Overview

情報利得について、主要な入力値と式の関係を整理し、計算結果の意味を解釈するための説明です。条件、単位、前提を確認しながら使うことで、結果を比較、判断、見積もり、リスク確認に結びつけやすくなります。必要に応じて値を変え、結果の変化も確認してください。

When to use: 情報利得は、与えられた値から必要な結果を求めたいときに使います。入力の単位、範囲、前提条件を確認してから代入し、計算結果を現実の条件や問題文の目的と照らし合わせてください。

Why it matters: 情報利得の結果は、数値を比較し、傾向、制約、リスク、設計上の判断を説明するために役立ちます。答えを単独の数値として扱わず、条件が変わったときの意味や妥当性も確認できます。

Symbols

Variables

IG = Info Gain, = Parent Entropy, = Child Entropy

IG
Info Gain
bits
Parent Entropy
bits
Child Entropy
bits

Walkthrough

Derivation

公式：情報利得

情報利得は、属性を用いてデータセットを分割することにより不確実性（エントロピー）がどれだけ減少するかを測定し、決定木の構築を導く。

  • データセットSは、属性Aの値vによって部分集合に分割される。
  • エントロピーH()は、各部分集合内のクラス分布に基づいて計算される。
1

分割に対する情報利得を述べる：

分割前の元のエントロピーから、分割後の重み付き平均エントロピーを差し引く。

2

最良の分割を選ぶ：

情報利得が最大の属性が、そのノードにおける不確実性の最大の減少をもたらす。

Note: 一部のアルゴリズムは、多値属性へのバイアスを減らすために利得比を使用する。

Result

Source: Standard curriculum — Machine Learning (Decision Trees)

Visual intuition

Graph

Graph type: logarithmic

Why it behaves this way

Intuition

親ノードの混合した項目の集まりが、特定の特性に基づいてより小さく均一なグループ（子ノード）に分類される様子を想像してください。情報利得は、どれだけ整理され、混合が減ったかを測定します。

IG
属性に基づいてデータセットを分割した後の、不確実性またはランダム性の低減。
より高い情報利得は、この属性でデータセットを分割すると、結果のサブセットがターゲットクラスに関してかなり予測可能または「純粋」になることを示す。
H(parent)
分割を行う前のデータセットにおける不確実性または不純度（エントロピー）の初期レベル。
元のデータセットにおけるクラスの混ざり具合を表す。高いH(parent)はクラスがより均等に分布しており、したがってより不確実であることを意味する。
H(children)
特定の属性でデータセットを分割した後に作成されたサブセットの加重平均不確実性または不純度（エントロピー）。
結果のサブセットにおけるクラスの混ざり具合を表す。低いH(children)はサブセットがより均質で不確実性が低いことを意味する。

Signs and relationships

  • - H(children): H(parent)からH(children)を減算することは、情報利得がエントロピーの*低減*を定量化することを示す。子ノードのエントロピーが親ノードよりも小さくなることを目指すため、正の情報利得

Free study cues

Insight

Canonical usage

情報利得は、データセット内のエントロピーの減少を定量化するために使用される無次元の数値スコアである。

Dimension note

情報利得は、確率から計算されるエントロピー値の差から導かれる無次元量である。

One free problem

Practice Problem

次の条件を使って、情報利得を求めてください。必要な値を式に代入し、単位と桁数を確認して答えてください。 条件: 0.940, 0.693。

Hint: 情報利得の式に既知の値を代入し、単位、符号、分母と分子の対応を確認しながら計算してください。問題文で与えられた条件を先に整理すると解きやすくなります。

The full worked solution stays in the interactive walkthrough.

Where it shows up

Real-World Context

情報利得は、実務、学習、分析の場面で具体的な値を代入して結果を確認するときに使えます。計算結果を単なる数値として扱うのではなく、条件の比較、判断、見積もり、リスク確認に結びつけて解釈するのに役立ちます。

Study smarter

Tips

  • 子ノードのエントロピーは、各分岐の標本数に基づく加重平均として計算してください。
  • Information Gainは、異なる値の数が多い属性に偏ることがある点に注意してください。
  • 利得がゼロなら、その分割はデータセットの純度をまったく改善しないことを示します。

Avoid these traps

Common Mistakes

  • エントロピーを引く代わりに足すこと。
  • 対数の底を混在させること。

Common questions

Frequently Asked Questions

情報利得は、属性を用いてデータセットを分割することにより不確実性（エントロピー）がどれだけ減少するかを測定し、決定木の構築を導く。

情報利得は、与えられた値から必要な結果を求めたいときに使います。入力の単位、範囲、前提条件を確認してから代入し、計算結果を現実の条件や問題文の目的と照らし合わせてください。

情報利得の結果は、数値を比較し、傾向、制約、リスク、設計上の判断を説明するために役立ちます。答えを単独の数値として扱わず、条件が変わったときの意味や妥当性も確認できます。

エントロピーを引く代わりに足すこと。 対数の底を混在させること。

情報利得は、実務、学習、分析の場面で具体的な値を代入して結果を確認するときに使えます。計算結果を単なる数値として扱うのではなく、条件の比較、判断、見積もり、リスク確認に結びつけて解釈するのに役立ちます。

子ノードのエントロピーは、各分岐の標本数に基づく加重平均として計算してください。 Information Gainは、異なる値の数が多い属性に偏ることがある点に注意してください。 利得がゼロなら、その分割はデータセットの純度をまったく改善しないことを示します。

References

Sources

  1. Wikipedia: Information gain (decision tree)
  2. Wikipedia: Entropy (information theory)
  3. An Introduction to Statistical Learning by Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani
  4. Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.
  5. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer.
  6. Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
  7. Wikipedia: Information gain in decision trees
  8. Standard curriculum — Machine Learning (Decision Trees)