第2章:離散情報源 - 講義ノート

P.20-

統計的性質

長さnのシンボル系列 X1,X2,...,Xn-1
　Xi : 確率変数
これを
　p(x0,x1,...,xn-1)のようにあらわす。
　結合確率分布から確率分布を求める

講義では定常情報源を扱う

無記憶定常情報源

どの時点から始めても統計的性質が変わらない。
　 $p(X_{i}=x_{0},X_{i+1}=x_{1}, ... ,X_{i+n-1}=x_{n-1})$
　 $=p(X_{0}=x_{0} , X_{1}=x_{1} , ... , X_{n-1}=x_{n-1})$
　 $=p(x_{0} , x_{1} , ... , x_{n-1})$

　定常性　： $p(a)=p(X_{i}=a)=p(X_{j}=a)$
　無記憶性： $p(x_{0},x_{1}, ... ,x_{n-1}) = \prod_{i=0}^{n-1} (p(x_{i}))$

エルゴード性

　十分に長い出力系列の中に統計的性質が現れる。
　図2.2参照

マルコフ情報源

m重マルコフ情報源

　各時点の出力シンボルの生起確率が直前のm個の出力に依存する。

単純マルコフ情報源

　m=1のマルコフ情報源

状態遷移図によるマルコフ情報源

　マルコフ情報源は状態遷移図によって表される。
　M重マルコフ情報源を状態をマージして単純化されたものを一般化されたマルコフ情報源という。
　見分け方：
　　・出力とそれによる状態がすべて一致していれば（図2.5(a)）単純マルコフ情報源
　　・一致していなければ（図2.5(b)）単純マルコフ情報源でない