学步园

线性判别分析(LDA) 是指在输入变量上构造线性判别函数的方法。即寻找一种变换,使得在某种意义下类间分离性最大,类内相异性最小。相对于PCA来讲，他是一种有监督的维数约简方法。

1. 在d维的特征空间中：

（1）各类样本均值向量m_i

m_i=1/N_i∑_x∈Xix i=1,2

（2）样本类内离散度矩阵S_i和总类内离散度矩阵Sw.

Si=∑_x∈Xi(x-m_i)(x-m_i)^T i=1,2

S_w=S₁+S₂ 

（3）样本类间离散度矩阵S_b

S_b=(m₁-m₂)(m₁-m₂)^T

2.在一维Y空间上

（1）各类样本均值向量m_i

_m_i=1/N_i∑_y∈Yiy i=1,2

（2）样本类内离散度矩阵_S_i²和总类内离散度矩阵_Sw.

_S_i=∑_y∈Xi(y-_m_i)² i=1,2

_S_w=_S₁²+_S_2²

（3）样本类间离散度矩阵_S_b

_S_b=(_m₁-_m₂)²

Fisher准则函数为

J(w)=|m₁-m₂|²/(s₁²+s₂²),

使得该方程的值最大化

也就是使得类内散度足够小，类间三度足够大。

设y=w^Tx，

则有

(_m₁-_m₂)²=w^TS_bw

_S_i²=w^TS_iw

J_F(w)=(w^TS_bw)/(w^TS_ww) 广义Rayleigh商

可以写为：

min_w -1/2w^TS_Bw

s.t. w^TS_ww=C

L(w,λ)=w^TS_Bw-λ(w^TS_ww-C)

令导数为0，得

S_Bw=λS_ww

即：

S_w^-1S_Bw=λw（Ax=λx的形式)

有：w=(R/λ)S_w^-1(m₁-m₂), w^*=S_w^-1(m₁-m₂)