엔트로피는 통계물리학, 열역학, 정보 이론 등 여러 분야에서 다양한 의미로 사용되는 중요한 개념입니다.
엔트로피는 정보의 불확실성 또는 놀람의 정도를 나타내는 척도로 사용됩니다. 불확실성이나 예측의 어려움이 클수록 엔트로피가 더 큽니다. 엔트로피는 확률 분포에 기반하여 계산되며, 주어진 확률 분포에서의 평균 정보량을 나타냅니다.
확률 변수 X가 이산형이고 xᵢ가 X의 가능한 값들일 때, 엔트로피 H(X)는 다음과 같이 정의됩니다:
여기서,
-
$P(x_i)$ 는 확률 변수 X가 xᵢ라는 값을 가질 확률입니다. -
$\log_2$ 는 밑이 2인 로그를 나타냅니다.
이 식에서 엔트로피는 정보량의 기댓값으로 해석됩니다. 확률이 높은 사건의 정보량은 작고, 낮은 사건의 정보량은 크게 나타납니다. 엔트로피가 높다는 것은 시스템이 더 불확실하다는 것을 의미합니다.
이산형이 아닌 연속형 확률 변수의 경우, 적분을 사용하여 엔트로피를 정의할 수 있습니다.
엔트로피는 정보 이론에서는 정보의 불확실성을 나타내는 중요한 개념이며, 데이터 압축, 통신, 암호학 등 다양한 응용 분야에서 활용됩니다.
통계 물리학에서의 엔트로피는 주로 미시적인 입자의 분포와 상태의 불확실성을 나타내는 데 사용됩니다. 본질적으로 엔트로피는 시스템의 불확실성의 측도로 간주되며, 통계 물리학에서는 복잡한 다체 시스템의 통계적 특성을 분석하는 데 적용됩니다.
통계 물리학에서의 엔트로피 수식:
여기서,
-
$S$ 는 엔트로피를 나타냅니다. -
$k$ 는 볼츠만 상수로,$k = 1.38 \times 10^{-23} , \text{J/K}$ 입니다. -
$P_i$ 는 시스템이 상태$i$ 에 있을 확률을 나타냅니다. -
$\ln$ 은 자연 로그 함수를 나타냅니다.
이 수식은 볼츠만 엔트로피로 불리며, 시스템 내의 각 가능한 미시상태에 대한 확률을 사용하여 엔트로피를 계산합니다. 엔트로피는 가능한 상태의 불확실성을 나타내며, 확률 분포가 균일할 때 최대가 됩니다.
이 수식은 이산 상태의 경우에 적용되며, 연속적인 상태의 경우에는 적분으로 나타낼 수 있습니다. 통계 물리학에서 엔트로피는 주로 통계적 앙상블에 속하는 다양한 미시적인 상태의 확률 분포를 통해 정의되며, 이를 통해 시스템의 평균적인 특성을 설명합니다.
열역학에서의 엔트로피는 시스템의 무질서도, 에너지의 분산, 열의 이동 등과 관련된 물리량으로 정의됩니다. 열역학에서는 엔트로피를 시스템의 상태에 따라 변하는 양으로 설명하며, 주로 열과 에너지 변환의 과정에서 물질의 상태 변화와 관련이 있습니다.
1. 엔트로피의 정의:
시스템의 엔트로피 변화는 다음과 같이 정의됩니다.
여기서,
-
$\Delta S$ 는 엔트로피의 변화를 나타냅니다. -
$dq_{rev}$ 는 시스템과 주변 간의 열 전달의 양입니다. 여기서 "rev"는 역행 가능한(Reversible) 과정을 의미합니다. - T는 시스템의 온도를 나타냅니다.
위 식은 엔트로피 변화를 열 전달에 대한 역행 가능한 과정에서의 열과 시스템의 온도에 대한 적분으로 정의하고 있습니다.
2. 엔트로피와 무질서도:
열역학에서 엔트로피는 무질서도를 나타냅니다. 고체 상태에서 가스 상태로 변하면 엔트로피가 증가하게 됩니다. 가스 분자가 더 많은 위치에서 움직일 수 있기 때문에 더 많은 무질서도가 있는 것으로 간주됩니다.
3. 엔트로피와 에너지 분산:
시스템 내의 에너지 분산은 엔트로피의 증가로 나타날 수 있습니다. 에너지가 높은 지점에서 낮은 지점으로 이동하면서 더 많은 가능한 에너지 상태가 생성되므로 엔트로피가 증가합니다.
4. 엔트로피와 열역학 제 2 법칙:
열역학 제 2 법칙은 단계적으로 에너지의 진행이 불가피하게 더 높은 엔트로피 상태로 이끌어진다는 것을 나타냅니다. 이 법칙에 따르면 고립된 시스템의 엔트로피는 계속 증가하며, 시스템은 더 무질서한 상태로 진행합니다.
열역학의 엔트로피는 에너지 변환과 열 전달의 관점에서 물질의 무질서도와 관련된 중요한 물리량입니다.