第2-3章

パターン認識

区分的線形識別関数

  1. どのような複雑な決定境界も任意の精度で近似できる
  2. パーセプトロンの学習法が適用できない
  3. 多層ニューラルネットワークと極限において等価である

誤差評価に基づく学習

線形分離不可能な場合（線形関数で完全に識別することができない場合）において、誤差を最小にするような学習を行うことを考える。

Widrow Hoffの学習規則

学習パターンに対し、識別関数の望ましい値（教師信号）を与え、関数の出力と教師信号との距離ができるだけ少なくなるような識別関数を求める。

教師信号の与え方

各クラスの教師ベクトルは正しい識別要素が最大となるようなものを与えればよい。
誤差の項をできるだけ小さくする…誤差の微分が0の点を探す

逐次近似による解

最急降下法を用いる。（偏微分）（3・23式）
w'_i=w_{i}-\rho \eps_{ip}x_{p}

Widrow Hoffの学習規則は誤りを0にするとはいえない。