第6章特徴空間の変換(2)

特徴空間の変換

正規化
次元の削減
1. より良い特徴量を選択
2. 線形変換により次元を削減
識別に適した空間を作る⇒Fisherの方法

KL展開

KL展開は識別に適した空間を作っているわけではない。
KL展開により、元の空間をできるだけ保存したより次元の低い空間を作ることができる。
d次元ベクトルx1,x2,・・・,xnに対応するスカラーy1,y2,・・・,ynを作ることを考える。
$\mathbf{m}=\bar{\mathbf{x}}=\frac{1}{n}\sum_{p=1}^n \mathbf{x}_p$
$\tilde{m}=\frac{1}{n}\sum_{p=1}^n y_p=\frac{1}{n}\sum_{p=1}^n w^tx_p=w^tm$
$\begin{matrix} \tilde{\sigma}^2 & = & \overline{(y-\tilde{m})^2} \\ & = & \overline{(\mathbf{w}^t \mathbf{x}-\mathbf{w}^t\mathbf{m})^2} \\ & = & \mathbf{w}^t \overline{(\mathbf{x}-\mathbf{m})(\mathbf{x}-\mathbf{m})^t}\mathbf{w} \\ & = & \mathbf{w}^t \Sigma \mathbf{w} \end{matrix}$
ただしΣは共分散行列： $\Sigma = \frac{1}{n}\sum_{p=1}^n (\mathbf{x}_p-\mathbf{m})(\mathbf{x}_p-\mathbf{m})^t$
Σの（d個の）固有値・固有ベクトルを求めると、
$\Sigma \mathbf{w}_j = \lambda_j\mathbf{w}_j (j=1,...,d)$
基底ベクトルの正規直交性より
$\mathbf{w}_i^t\mathbf{w}_j=\delta_{ij}$ *1
したがって
$\begin{matrix} \tilde{\sigma}_j^2 & = & w_j^t \Sigma w_j \\ & = & \lambda_j w_j^t w_j \\ & = & \lambda_j \end{matrix}$

(考えてる間に講義に置いてかれた。)

新しい空間に変換すると
$\mathbf{y}=W^t\mathbf{x}$

$\tilde{\Sigma} = \Lambda$
$||\mathbf{y}||=\mathbf{y}^t\mathbf{y}=\mathbf{x}^tWW^t\mathbf{x}=\mathbf{x}^t\mathbf{x}=||\mathbf{x}||$
主軸x1⇒y1
$\tilde{\sigma}^2=\lambda_j$ （固有値の大きい軸が前に来る）