第4章 離散的通信路の符号化(1)

4.1 通信路のモデル

通信路の統計的性質

• 定常：時間をずらしても統計的性質が変わらない
• 無記憶：その時点の入力のみに出力が依存し、他の時点での入力や出力とは無関係

一般に
入力アルファベット＝入力記号の集合：X={a1,a2,...,ar}
出力アルファベット＝出力記号の集合：Y={b1,b2,...,bs}とすると
Y=TXとする通信路行列T（r×s行列）で定義することができる。

（注：行方向の総和は1）
どの列も0以外の要素がただ1つ含まれる（r≦s）→雑音のない通信路（情報の損失がない）
どの行も0以外の要素がただ1つ含まれる（r≧s）→確定的通信路（あるXを送ると受け取られるYが一意に決まる。全ての要素は1）

通信路線図

図にあらわしたもの。図4.1参照

4.2 各種のエントロピー

• 入力のエントロピー：
• 出力のエントロピー：
• 結合エントロピー：
• Xの事後エントロピー：
• 条件付きエントロピー：

導出過程はいまいち納得できないが…
H(Y|X)：あるXを送ったときにYについて残る情報量＝散布度
H(X|Y)：あるYを受け取ったときにXについて残る情報量＝あいまいさ
というわけで、実際に通信に成功した情報量は
H(X)-H(X|Y)=R：情報伝送速度[ビット/記号]*1
教科書とはちょっと違うけど、気にしない。
時間の要素を入れたければ速さ＝R/Tとすればよい（Tは１シンボル送るのにかかる時間）

通信路容量

雑音のある通信路の通信路容量
例4.6は省略
例4.7
…

*1:速度といいつつも単位は情報量