情報源符号化/通信路符号化 3.1 符号の分類 符号化をすると符号語ができる。 記号の種類数による分類 符号に使う記号の種類数 よく使うのは２元符号 {0,1} 符号化の単位による分類 通報の記号毎 通報のブロック毎（n文字毎：n次拡大情報源）…（等長の）ブロ…

英語の語句を情報源と考える 第ゼロ近似 独立、等確率 第１近似 独立、確率：頻度（表6.1） 無記憶情報源 第２近似 単純マルコフ情報源 ２文字の確率を考える。 第３近似 ２重マルコフ情報源 ３文字の確率を考える。状態数は27*27

覚えておくべき点 記憶なし情報源のエントロピー： マルコフ情報源のエントロピー：各状態のエントロピーの平均 随伴情報源のエントロピー： 拡大情報源のエントロピー： 拡大情報源の随伴情報源のエントロピー：