サンプリングとサンプリング定理 サンプリングは周期の半分よりも短い間隔で取りましょう 量子化 有限精度で表すのだ（A/D変換） ひとつずつやるのをスカラー配列・ベクトル配列 試験は巡回符号の前まで

復習 線形符号 チェックビットが符号ビットのex-OR演算で求められる 例えば(7,4)だと c1=x1⊕x2⊕x4 c2=x1⊕x3⊕x4 c3=x2⊕x3⊕x4 検査行列Hは 生成行列Gは 最小重みを考えれば誤り訂正能力とか考えられるから無問題 ハミング符号 単一誤り訂正能力を持つ最も効率…

符号長n、情報ビットk、検査ビットm（n=k+m）のときη=k/nを符号の効率という。 訂正能力が高く効率のよい符号を見つけられるとうれしい 単一パリティ検査符号 符号語を各ビットのEx-ORを取った値が奇数もしくは偶数になるように構成する。 シンドローム*1は …

4.1 通信路のモデル 通信路の統計的性質 定常：時間をずらしても統計的性質が変わらない 無記憶：その時点の入力のみに出力が依存し、他の時点での入力や出力とは無関係 一般に 入力アルファベット＝入力記号の集合：X={a1,a2,...,ar} 出力アルファベット＝…

算術符号 情報源シンボル系列⇒系列の累積確率[0,1)の2進表現（符号も2元） 例） P(0)=0.7 P(1)=0.3 累積確率二進表現符号 P(000)=0.343 0 .00000...00 P(001)=0.147 0.343 .01010...010 P(010)=0.147 0.49 .01111...011 P(011)=0.063 0.637 .10100...1010 P(…

復習 定理3.2,3.2は重要 シャノンの符号化 ファノの符号化法 情報源のシンボルをなるべく等確率になるように二つに分けることを繰り返す。（言いたいことはわかるけどなるべく等確率になるようにの判断が難しいな…） ハフマン符号 省略させてください ハフマ…

3.2 符号の基本的性質 クラフトの定理 長さl1,l2,...,lMとなるM個の符号語を持つr元符号（r個のシンボルを用いた符号）が瞬時符号となりうるための必要十分条件は 十分性の証明 長さiの符号語がni個あって、全体でlグループM個の符号語があるとすると、 nは…

情報源符号化/通信路符号化 3.1 符号の分類 符号化をすると符号語ができる。 記号の種類数による分類 符号に使う記号の種類数 よく使うのは２元符号 {0,1} 符号化の単位による分類 通報の記号毎 通報のブロック毎（n文字毎：n次拡大情報源）…（等長の）ブロ…

英語の語句を情報源と考える 第ゼロ近似 独立、等確率 第１近似 独立、確率：頻度（表6.1） 無記憶情報源 第２近似 単純マルコフ情報源 ２文字の確率を考える。 第３近似 ２重マルコフ情報源 ３文字の確率を考える。状態数は27*27

覚えておくべき点 記憶なし情報源のエントロピー： マルコフ情報源のエントロピー：各状態のエントロピーの平均 随伴情報源のエントロピー： 拡大情報源のエントロピー： 拡大情報源の随伴情報源のエントロピー：

2.3.1 マルコフ情報源のエントロピー k元m重マルコフ情報源の状態数はr=k^m存在する。 状態sjにいるときのシンボルの平均情報量は で表すことができる。 したがってすべてのエントロピーは 2.4 随伴情報源とマルコフ情報源の拡大 2.4.1 随伴情報源 あるマル…

P.20- 統計的性質 長さnのシンボル系列 X1,X2,...,Xn-1 Xi : 確率変数 これを p(x0,x1,...,xn-1)のようにあらわす。 結合確率分布から確率分布を求める講義では定常情報源を扱う 無記憶定常情報源 どの時点から始めても統計的性質が変わらない。 定常性 ： …