第5章

ベイズ統計・推定・Error

例)三種類のコインがある。
w1=10% 表の出る確率θ1=0.8
w2=40% 表の出る確率θ2=0.6
w3=50% 表の出る確率θ3=0.3

ある1個のコインを取り出してn回投げてx回表が出たとする。
コインがどのコインかを推定する方法は?
ベイズの定理p(w_i|x) = \frac{p(x|w_i)}{p(x)}p(w_i)
計算する。
p(x|w_i) = _nC_x \theta_i^x(1-\theta_i)^{(n-x)}
p(x)=\sum_{i=1}^3 p(w_i)p(x|w_i)

n=10,x=7のときは
p(x=7|w1)=0.201
p(x=7|w2)=0.215
p(x=7|w3)=0.009
p(x=7)=0.1x0.201+0.4x0.215+0.5x0.009=0.111
p(w1)=0.1
これをベイズの定理の式に代入して
p(w1|x=7)=0.18
p(w2|x=7)=0.78 ←これっぽい
p(w3|x=7)=0.04

以上のプロセスをベイズ決定則という
なおこの判定での誤り確率は0.22(0.18+0.04)である。

ベイズ誤り確率

e_B=\sum_{x=0}^n P(x)(1-max(p(w_i|x)))
上の例では0.223

パターン認識との関係

線形識別関数gi(x)に対して確率関数p(wi|x)を対応付けると、まったく同じことを行っていると考えることができる。
この場合の識別関数をベイズ識別関数という。