Naive Bayes

Naive bayes 는 Bayes Rule 을 기반으로 하는 통계적 분류 기법이다.

 

나이브 베이즈의 기본적인 원리를 예)

 

날씨 정보와 축구 경기 여부에 대하여 정리해보면 날씨에 대한 정보 (사전 정보)를 기반으로 축구를 할 것인지 하지 않을지에 대한 확률을 구하는 문제입니다.

 

과거 날씨에 따라 축구 경기가 있었는지 없었는지에 대한 데이터를 사용하여 사전 정보를 활용한다.

 

P(Yes|Overcast) = P(Overcast|Yes) P(Yes) / P(Overcast) --> Bayes Rule

P(No|Overcast) = P(Overcast|No) P(No) / P(Overcast)

사전 확률

P(Overcast), P(Yes), P(No)

 

사후 확률

P(Overcast|Yes)

 

이 때, 베이즈 정리를 이용하면

P(Yes|Overcast) = P(Overcast|Yes) * P(Overcast), P(No|Overcast) = P(Overcast|No) * P(Overcast) 와 같이 구할 수 있다.

 

결과적으로, 이런 방법으로 확률이 높은 경우의 class 를 선택하는 것으로 사용한다. 

(축구를 할지 하지 않을지)

 

https://www.cs.cornell.edu/courses/cs4780/2018fa/lectures/lecturenote05.html

-- Assume that feature are independent of each other --

 

이외의 Naive Bayes 의 type

 

1. Gaussian Naive Bayes

 

 

2. Multinomial Naive Bayes ( Bernoulli Naive Bayes)

 

Naive Bayes.ipynb

0.01MB

Naive_Bayes.pdf

0.54MB