線形判別分析

線形判別分析の必要性

赤色のクラス、青色のクラスがあり、それらが上の図のように分散していたとします。
このとき、主成分分析をするとどのような射影直線が得られるでしょうか?
その答えはすべてのクラスタの成分が最も分散している方向であり、緑の軸がその方向を表していますね。
これすごくパターン認識の当初の目的に即さない成分であることがお分かりでしょうか。

主成分分析のページでは、『特徴量』を取り出すのだから十人十色になるような性質を引っ張り出して来ればいい、と言いました。
これは当然の前提です。

しかし、いくら「人それぞれの特徴」が上手い事分散したとしても
それによって「クラスが分割」出来なければ全く意味がないのです。
上の図、確かに人それぞれの特徴を上手く表すような量ではありますが、「クラスを特徴づける量」としては全く不適合なのです。

ではどのように軸をとればいいのかというと…このような感じなら良さそうです。
この軸にもっと着目してみると
これ見るとちゃんと軸の中で上手い具合に赤と青もクラスが分離できていることが分かります。
例えば矢印の位置に何か新しい画像が入って来たら、(ユークリッド距離ならば)青の方に分類すればいいわけです。

線形判別分析の具体的な方法

主成分分析の失敗は「すべてのクラスの特徴ベクトル」をまとめて考えたために起こりました。
そこで、次のようなクラスごとの行列を考えます。

まずはそのまま、クラスcの特徴ベクトルについての分散共分散行列S^{(c)}ですね。
次にクラス内分散共分散行列S_wを次のように定義します。
 S_w=\frac{1}{N} \sum_c N^{(c)} S^{(c)}
またはこんな風にも書けるでしょうか。
 S_w=\sum_c \frac{N^{(c)}}{N} S^{(c)}
要は全クラスの分散共分散行列の重みづけ平均ですね。要素数の多い巨大なクラスタほど重みづけが大きくされています。

続きまして、こんな行列\widehat{S}^{(c)}を定義します。
 \widehat{S}^{(c)}=\begin{bmatrix}\mathrm{E}[(\mu_1^{(c)} - \mu_1)(\mu_1^{(c)} - \mu_1)] & \mathrm{E}[(\mu_2^{(c)} - \mu_1)(\mu_2^{(c)} - \mu_2)] & \cdots & \mathrm{E}[(\mu_1^{(c)} - \mu_1)(\mu_n^{(c)} - \mu_n)] \\ \\\mathrm{E}[(\mu_2^{(c)} - \mu_2)(\mu_1^{(c)} - \mu_1)] & \mathrm{E}[(\mu_2^{(c)} - \mu_2)(\mu_2^{(c)} - \mu_2)] & \cdots & \mathrm{E}[(\mu_2^{(c)} - \mu_2)(\mu_n^{(c)} - \mu_n)] \\ \\\vdots & \vdots & \ddots & \vdots \\ \\ \mathrm{E}[(\mu_n^{(c)} - \mu_n)(\mu_1^{(c)} - \mu_1)] & \mathrm{E}[(\mu_n^{(c)} - \mu_n)(\mu_2^{(c)} - \mu_2)] & \cdots & \mathrm{E}[(\mu_n^{(c)} - \mu_n)(\mu_n^{(c)} - \mu_n)] \end{bmatrix}
\mu_k^{(c)}っていうのは第k番目の特徴量の、クラスcだけにおける平均値を示します。
要は「各クラスの平均についての相関度」とでも考えればよいでしょうか。
これを上と同じように重みづけ平均したものがクラス間分散共分散行列です。
 S_b=\sum_c \frac{N^{(c)}}{N} \widehat{S}^{(c)}

違いに注意してくださいね。
「クラスcの特徴量の平均」と「クラスcのある1つの画像の特徴量」を使っているのがクラス「内」分散共分散行列です。クラスの中でその計算が完結していますからね。
対して「クラスcの特徴量の平均」と「あらゆるクラスすべての特徴量の平均」を使っているのがクラス「間」分散共分散行列です。クラスcと全クラスがまたがっていますからクラス間です。

結果だけ述べますとS_b S_w^{-1}の固有値が、主成分解析の際の分散共分散行列に値します。
つまり、S_b S_w^{-1}の固有方程式を解いて、固有値の大きい方から順にその固有ベクトルを求めていけば線形判別分析が完了します。
最終更新:2012年11月08日 22:30
ツールボックス

下から選んでください:

新しいページを作成する
ヘルプ / FAQ もご覧ください。