엔트로피 (섀넌)

Core idea

Overview

엔트로피 (섀넌)은 주요 입력값과 식의 관계를 정리하고 계산 결과의 의미를 해석하기 위한 설명입니다. 조건, 단위, 전제를 확인하면서 사용하면 결과를 비교, 판단, 추정, 위험 확인과 연결하기 쉽습니다. 필요하면 값을 바꾸어 결과가 어떻게 달라지는지도 확인하세요.

When to use: 엔트로피 (섀넌)은 주어진 값에서 필요한 결과를 구해야 할 때 사용합니다. 입력 단위, 범위, 전제 조건을 확인한 뒤 대입하고, 계산 결과를 실제 조건이나 문제의 목적과 비교해 해석하세요.

Why it matters: 엔트로피 (섀넌)의 결과는 수치를 비교하고 경향, 제약, 위험, 설계 판단을 설명하는 데 도움이 됩니다. 답을 단독 숫자로만 보지 말고 조건이 바뀔 때의 의미와 타당성도 함께 확인할 수 있습니다.

Symbols

Variables

H = Entropy (Bits), p = Probability (p)

H

Entropy (Bits)

bits

p

Probability (p)

Variable

Walkthrough

Derivation

공식: 섀넌 엔트로피

섀넌 엔트로피는 이산 확률 변수의 평균 불확실성(정보량)을 결과의 확률을 사용하여 측정합니다.

X는 결과가 $x_{i}$ 이고 확률이 $p_{i}$ =P( $x_{i}$ )인 이산 변수입니다.
$p_{i}$ =0인 항은 0을 기여합니다(0\log 0을 0으로 처리).

1

엔트로피 공식을 나타내세요:

결과에 대해 확률 가중 정보 $lo g_{2}$ (1/ $p_{i}$ )를 합산하여 기호당 기대 정보를 구합니다.

H (X) = - i = 1 \sum n p_{i} lo g_{2} (p_{i})

2

단위 해석:

밑이 2인 로그를 사용하면 엔트로피가 비트(이진수) 단위로 측정됨을 의미합니다.

units = bits

Note: 최대 엔트로피는 모든 결과의 가능성이 동일할 때 발생합니다.

Result

units = bits

Source: AQA A-Level Computer Science — Data Representation

Free formulas

Rearrangements

Solve for $H$

엔트로피 (섀넌)

H = - [p lo g_{2} (p) + q lo g_{2} (q)]

샤넌 엔트로피 공식을 일반적인 합계 형태에서 두 가지 가능한 결과만 있는 이진 엔트로피의 특정 경우로 단순화하십시오.

Difficulty: 2/5

The static page shows the finished rearrangements. The app keeps the full worked algebra walkthrough.

Visual intuition

Graph

Graph type: parabolic

Why it behaves this way

Intuition

섀넌 엔트로피는 확률 분포의 '퍼짐' 또는 '평평함'을 정량화합니다: 더 균일한 분포(모든 결과의 가능성이 동일)일수록

H(X)

확률 변수 X의 평균 불확실성 또는 정보량을 나타내는 섀넌 엔트로피.

더 높은 H(X)는 X의 결과가 평균적으로 더 예측 불가능하거나 '놀라움'을 의미하며, 설명하는 데 더 많은 비트가 필요합니다.

p(x)

확률 변수 X의 모든 가능한 결과 집합에서 특정 결과 'x'의 확률.

특정 사건 'x'가 발생할 가능성. 가능성이 낮은 사건(작은 p(x))은 더 많은 개별 정보를 전달합니다.

l o g_{2} p (x)

결과 'x'의 확률에 대한 로그(밑 2)입니다. 이 항을 부정하면 결과 'x'의 '자체 정보' 또는 '놀라움'을 나타냅니다.

p(x)가 0과 1 사이에 있으므로 log_2 p(x)는 항상 음수 또는 0입니다. 확률이 매우 낮은 결과는 큰 음수 log_2 p(x)를 가지며, 이는 매우 '놀라운' 사건임을 의미합니다(따라서 그 맥락에서 발생할 때 많은 정보를 전달합니다).

Signs and relationships

-: 로그 log_2 p(x)는 0과 1 사이의 확률 p(x)에 대해 음수입니다. 음수 부호는 정보 내용 -log_2 p(x)가 양수 값이 되어 비트 수를 나타내도록 합니다.

Free study cues

Insight

Canonical usage

섀넌 엔트로피는 사용된 로그의 밑에 따라 결정되는 단위로 정보를 정량화하며, 가장 일반적으로 밑이 2인 로그의 경우 비트(bits)를 사용합니다.

Dimension note

섀넌 엔트로피는 평균 정보량 또는 불확실성을 나타내는 무차원량입니다. 확률 p(x) 자체가 무차원이며, 무차원량의 로그도 무차원입니다.

One free problem

Practice Problem

다음 조건을 사용해 엔트로피 (섀넌)을(를) 구하세요. 필요한 값을 식에 대입하고 단위와 자릿수를 확인해 답하세요. 조건: 0.5.

Hint: 엔트로피 (섀넌)의 식에 알려진 값을 대입하고 단위, 부호, 분자와 분모의 대응을 확인하면서 계산하세요. 문제에서 주어진 조건을 먼저 정리하면 더 쉽게 풀 수 있습니다.

The full worked solution stays in the interactive walkthrough.

Where it shows up

Real-World Context

엔트로피 (섀넌)은 실무, 학습, 분석 상황에서 구체적인 값을 대입해 결과를 확인할 때 사용할 수 있습니다. 계산 결과를 단순한 숫자로만 보지 않고 조건 비교, 판단, 추정, 위험 확인과 연결해 해석하는 데 도움이 됩니다.

Study smarter

Tips

모든 결과가 동일하게 가능할 때 엔트로피는 최대가 됩니다.
로그의 밑이 2이면 단위는 비트입니다.
엔트로피는 항상 0 또는 양수이며, 한 결과가 확실할 때만 0입니다.
밑 변환 공식 log₂(x) = ln(x) / ln(2)를 사용하세요.

Avoid these traps

Common Mistakes

log2 대신 자연로그를 사용하는 것.
p 항과 q 항 둘 다 잊는 것.

Keep going

Related Formulas

Common questions

Frequently Asked Questions