Data & Computing機械学習A-Level
CambridgeAQAAPOntarioNSWCBSEGCE O-LevelMoE

二値交差エントロピー

二値分類のための損失関数。

Understand the formulaSee the free derivationOpen the full walkthrough
Open Full WalkthroughTry Calculator

This public page keeps the free explanation visible and leaves premium worked solving, advanced walkthroughs, and saved study tools inside the app.

Core idea

Overview

二値交差エントロピーについて、主要な入力値と式の関係を整理し、計算結果の意味を解釈するための説明です。条件、単位、前提を確認しながら使うことで、結果を比較、判断、見積もり、リスク確認に結びつけやすくなります。必要に応じて値を変え、結果の変化も確認してください。

When to use: 二値交差エントロピーは、与えられた値から必要な結果を求めたいときに使います。入力の単位、範囲、前提条件を確認してから代入し、計算結果を現実の条件や問題文の目的と照らし合わせてください。

Why it matters: 二値交差エントロピーの結果は、数値を比較し、傾向、制約、リスク、設計上の判断を説明するために役立ちます。答えを単独の数値として扱わず、条件が変わったときの意味や妥当性も確認できます。

Symbols

Variables

L = Loss, y = Actual Label (0/1), p = Predicted Prob

Loss
Variable
Actual Label (0/1)
Variable
Predicted Prob
Variable

Walkthrough

Derivation

式: バイナリクロスエントロピー（ログ損失）

バイナリクロスエントロピーは、予測確率 が真のバイナリラベル y とどれだけ一致しているかを測定し、確信度の高い誤った予測に大きなペナルティを課します。

  • 予測 は (0,1) の確率であり、通常はシグモイド関数から得られます。
  • 対数は特に指定がない限り自然対数です（選択によりスケールのみが変わります）。
1

1つの例に対する損失を書く：

y=1の場合、-()のみが重要であり、y=0の場合、-(1-)のみが重要です。

2

N個の例にわたる平均：

データセット損失は個々の損失の平均であり、トレーニング中に最小化する単一の数値を提供します。

Note: 実際には、確率は0と1から切り離され、(0)を避けるためにクリップされます。

Result

Source: Standard curriculum — Machine Learning (Classification Losses)

Visual intuition

Graph

Graph type: logarithmic

Why it behaves this way

Intuition

モデルが最も低い点を見つけることを目的とする景観。これは、予測確率と真のクラスラベルの間の最小の発散を表し、自信過剰な誤りを厳しく罰する急な勾配を持つ。

単一のデータポイントに対する真のラベルと予測確率の間の不一致を定量化するスカラー値。
値が高いほど予測が悪いことを示し、モデルがより「間違っている」か、または「正しい答えに対する確信が低い」ことを意味する。
入力データに対する実際の正しいバイナリクラスラベル（0または1）。
これはモデルが学習して予測しようとしている目標値です。
真のラベル「y」が1であるというモデルの推定確率。
陽性クラスに対するモデルの信頼度を表す。
予測確率「p」の自然対数。
真のクラスに対する予測確率「p」が0に近づくほど（すなわち、自信過剰な誤予測）、モデルにより大きなペナルティを与える。
真のラベル「y」が0である確率（すなわち、1-p）の自然対数。
真のクラスが0である場合に、そのクラスに対する予測確率「p」が1に近づくほど（すなわち、自信過剰な誤予測）、モデルにより大きなペナルティを与える。

Signs and relationships

  • -: 確率（0と1の間の値）の自然対数は常に負またはゼロである。損失関数「L」が非負の値であり、ゼロに向かって最小化できるようにするため、式全体に乗算される

Free study cues

Insight

Canonical usage

この方程式は、真の二値ラベルと予測確率の間の乖離を表す無次元の損失値を計算する。

Dimension note

二値交差エントロピー式のすべての変数（真のラベル 'y'、予測確率 'p'、および結果として得られる損失 'L'）は無次元量である。

One free problem

Practice Problem

次の条件を使って、二値交差エントロピーを求めてください。必要な値を式に代入し、単位と桁数を確認して答えてください。 条件: 1, 0.85。

Hint: 二値交差エントロピーの式に既知の値を代入し、単位、符号、分母と分子の対応を確認しながら計算してください。問題文で与えられた条件を先に整理すると解きやすくなります。

The full worked solution stays in the interactive walkthrough.

Where it shows up

Real-World Context

二値交差エントロピーは、実務、学習、分析の場面で具体的な値を代入して結果を確認するときに使えます。計算結果を単なる数値として扱うのではなく、条件の比較、判断、見積もり、リスク確認に結びつけて解釈するのに役立ちます。

Study smarter

Tips

  • 0または1で自然対数が未定義になることを避けるため、予測値pが (0, 1) の範囲に留まることを確認してください。
  • 予測がラベルと完全に一致する場合にだけ、損失は0になります。
  • 多クラスのターゲットには、代わりにCategorical Cross-Entropyの変種を使ってください。

Avoid these traps

Common Mistakes

  • p=0またはp=1を直接使うこと。
  • (1-y)項を忘れること。

Common questions

Frequently Asked Questions

バイナリクロスエントロピーは、予測確率 \hat{y} が真のバイナリラベル y とどれだけ一致しているかを測定し、確信度の高い誤った予測に大きなペナルティを課します。

二値交差エントロピーは、与えられた値から必要な結果を求めたいときに使います。入力の単位、範囲、前提条件を確認してから代入し、計算結果を現実の条件や問題文の目的と照らし合わせてください。

二値交差エントロピーの結果は、数値を比較し、傾向、制約、リスク、設計上の判断を説明するために役立ちます。答えを単独の数値として扱わず、条件が変わったときの意味や妥当性も確認できます。

p=0またはp=1を直接使うこと。 (1-y)項を忘れること。

二値交差エントロピーは、実務、学習、分析の場面で具体的な値を代入して結果を確認するときに使えます。計算結果を単なる数値として扱うのではなく、条件の比較、判断、見積もり、リスク確認に結びつけて解釈するのに役立ちます。

0または1で自然対数が未定義になることを避けるため、予測値pが (0, 1) の範囲に留まることを確認してください。 予測がラベルと完全に一致する場合にだけ、損失は0になります。 多クラスのターゲットには、代わりにCategorical Cross-Entropyの変種を使ってください。

References

Sources

  1. Wikipedia: Cross-entropy
  2. Goodfellow, I., Bengio, Y., Courville, A. (2016). Deep Learning. MIT Press.
  3. Deep Learning (Ian Goodfellow, Yoshua Bengio, and Aaron Courville)
  4. Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. (Chapter 6, Section 6.2.2.2)
  5. Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer. (Chapter 4, Section 4.3.4)
  6. Standard curriculum — Machine Learning (Classification Losses)