============================================================
統計力学におけるシャノンのエントロピーの導出
============================================================

この記事では、シャノンのエントロピー $S$ 、つまり、

<tex>
S  = -k_B \sum_n p_n \ln p_n \tag{##}
</tex>

をカノニカル集団（正準集団）の基礎から導出します。

準備
=================================

基本的なアイディアは、

分配関数 $Z= \sum_n e^{- \beta E_n}$ からエネルギー期待値 $\langle E \rangle$ と ヘルムホルツの自由エネルギー $F$ を求め、公式

<tex>
S  = \dfrac{ \langle E \rangle - F }{T} \tag{##}
</tex>

少し書き換えて [*]_ 、


<tex>
\dfrac{S}{k_B} = \beta (\langle E \rangle - F ) \tag{##}
</tex>

.. [*]  $\beta = \dfrac{1}{k_B T} $ です。

を用いて、エントロピーを求めます。

β<E>の書き換え
=======================

これはよく知られている公式を用います。つまり、

<tex>
\beta \langle E \rangle &= - \beta \dfrac{\partial}{\partial \beta} \ln Z \\
&= - \beta \dfrac{\partial}{\partial \beta} \ln \sum_n e^{-\beta E_n} \\
&= - \beta \dfrac{- \sum_n  E_n e^{- \beta E_n } }{\sum_n e^{- \beta E_n }} \\
&= \dfrac{\sum_n \beta E_n e^{- \beta E_n } }{\sum_n e^{- \beta E_n }} \tag{##}
</tex>

βFの書き換え
=======================

統計力学的定義に戻りますと、ヘルムホルツの自由エネルギー $F$ は、

<tex>
e^{-\beta F} &= Z \\
&= \sum_{n} e^{-\beta E_n} \tag{##}
</tex>

もしくは、

<tex>
F &= -\dfrac{1}{\beta}\ln Z  \tag{##}
</tex>

です。ここで、次のボルツマン分布を確認しておきます。
縮退していてもよい、つまり、 $n \neq n^\prime$ でも、 $E_n = E_{n^\prime}$ であってよいのです。
エネルギー準位 $E_n$ をとる確率 $p_n$ は、
マクスウェル・ボルツマン分布により、

<tex>
p_n = \dfrac{e^{- \beta E_n}}{\sum_{n} e^{-\beta E_n}} = \dfrac{e^{- \beta E_n}}{Z} \tag{##}
</tex>

書き換えると、

<tex>
Z = \dfrac{e^{- \beta E_n }}{p_n} \tag{##}
</tex>

となります。
式 $(6)$ より、

<tex>
- \beta F &= \ln Z \\
&= \sum_n p_n \ln Z \tag{##}
</tex>

と書いておきます。ここで、 $ \ln Z $ は $n$ の依存性がないので、式 $(9)$ の様に書けるのがポイントです。
なぜなら、

<tex>
\sum_n p_n = 1 \tag{##}
</tex>

であるからです。

いよいよ導出
=========================

式 $(8)$ 、式 $(9)$ より、

<tex>
- \beta F &= \sum_n p_n \ln \dfrac{e^{- \beta E_n }}{p_n} \\
&= \sum_n p_n (- \ln p_n - \beta E_n ) \tag{##}
</tex>

ですね？

少し戻って、式 $(4)$ を書き直すと、

<tex>
\beta \langle E \rangle = \sum_n \beta p_n E_n \tag{##}
</tex>

ですから、式 $(11)$ と式 $(12)$ より、

<tex>
\dfrac{S}{k_B} &= \beta(\langle E \rangle -F) \\
&= \sum_n \beta p_n E_n + \sum_n p_n (- \ln p_n - \beta E_n ) \\
&= - \sum_n p_n \ln p_n \tag{##}
</tex>

つまり、

<tex>
S = - k_B \sum_n p_n \ln p_n \tag{##}
</tex>

が導けました。

こうしてシャノンエントロピーが導けました。

最初にこれを考えた、ボルツマンやギブスはとてもすごいと思います。

それでは、今日はこの辺で、お疲れさまでした。

@@author:クロメル@@
@@accept:2013-05-10@@
@@category:統計力学@@
@@id:shannonEntropy@@