Linear Discriminant Analysis (LDA) & QDA

LDA.pdf

1.24MB

두 가지의 가정 아래에서 작동하는 선형(비선형 또한 가능) 분류기

 

1. 각 집단은 정규 분포를 띈다.

2. 각 집단은 비슷한 형태의 공분산 (Covariance) 구조를 가진다.

 

Ex) 예를 들어, 두 가지 분포가 존재함을 가정했을 떄

1. 두 분포의 평균의 차이를 최대화

2. 두 분포의 각 분산은 최소화

 

이 두 가지를 만족 하는 방향으로 Projection (정사영) 하도록 한다.

 

위의 수식과 같이 f_k 와  f_l 의 차이가 양수와 음수인 경우에 따라 속하는 class 가 달라진다. 

 

LDA : 각 집단의 공분산은 대부분 유사한 경우라고 가정을 갖고 시행한다.

QDA :  각 집단의 공분산이 유사하지 않아도 된다.

 

LDA QDA.ipynb

0.22MB