第2章:離散情報源(2)

情報理論

2.3.1 マルコフ情報源のエントロピー

k元m重マルコフ情報源の状態数はr=k^m存在する。
状態sjにいるときのシンボルの平均情報量は
H(L|s_{j}) = \sum_{i=1}^{k} p(L_{i}|s_{j})\dot H(L_{i}|s_{j})
で表すことができる。
したがってすべてのエントロピーは
H(L) = \sum_{i=1}^{k} p(L_{i},s_{j})\dot H(L_{i}|s_{j})

2.4 随伴情報源とマルコフ情報源の拡大

2.4.1 随伴情報源

あるマルコフ情報源について、情報源シンボルに関して同一の生起確率を有する記憶のない情報源のこと。（記憶をなくして単純化した・・・みたいな）
随伴情報源はマルコフ情報源以上（等しいかもしれない）のエントロピーを持つ

2.4.2 マルコフ情報源の拡大

出力をn個ずつ区切って1つのシンボルとしたものをn次拡大情報源という
記憶のない情報源Lに対しては
H(L^n)=nH(L)
証明は紙に写しておいた。

・拡大情報源の随伴情報源(n>=m)
H ( \overline{L^n})=H(L^n)+\left[ H(\overline{L^m}) -H (L^m) \right]
この式を変形すると
H(L)=\frac{1}{n}H(\overline{L^n})-\frac{1}{n}\left[ H(\overline{L^m}) -H (L^m) \right]
H(L)=\lim_{n \to \infty}\frac{H(\overline{L^n})}{n}