第3章誤差評価に基づく学習(4くらい)

(復習)ニューラルネットワークの誤差逆伝播法による学習

例）パリティ（偶奇性）判定

ニューラルネットワーク

最初に中間層をどれだけ取ればいいのかが不明である。
区分的線形識別関数と等価であるが、ニューラルネットワークほど効果的な学習方法がない
ニューラルネットワークでできることはほかの方法でもできる

第5章特徴の評価とベイズ誤り確率

認識系がうまくいかなかったときに、どこに問題があるかを考える
特徴の分布が分離していないのであれば、特徴抽出部を改善しなければならない。

5.2 クラス内分散・クラス間分散比

クラス間分散/クラス内分散が大きいほど、分離されている＝優れた特徴である。

第6章特徴空間の変換

正規化を行う
次元の削減（選択による削減）を行う
次元の線形変換による削減を行う

6.2 特徴量の正規化

6.4 線形判別法(P.114)

2クラスに関する線形判別法（フィッシャーの方法）

$y=\omega^tx$ というように内積を取って特徴量をスカラーに変換する。
このとき、各クラスの平均値m1,m2もωを用いて計算できる
クラス内平均について↓（なにか教科書と違っているような気がするが定義したようなので気にしない）
$\begin{matrix}\tilde{S}_i^2 &=& \sum_{\omega_1} (y-\tilde{m}_1)^2 \\ & =& \sum_{\omega_1} (\omega^t (x-m_1))^2 \\ & =& \omega^t (sum_{\omega_1} (x-m_1)(x-m_1)^t) \omega \\ & =& \omega^t S_i \omega \end{matrix}$

まあさておいておいて、最終的には
$\begin{matrix} J_S(\omega) & = & \frac{ \tilde{S}_B}{\tilde{S}_W} \\ & = & \frac{\omega^t \tilde{S}_B \omega}{\omega^t \tilde{S}_W \omega} \end{matrix}$
あとは教科書を参照して(最終的にωの方向が問題なので)
$\omega \propto S_W^{-1}(m_1-m_2)$

注意）この方法は投影軸は定まるが、軸上に決めるべき決定境界の値は定まらない。