Classification task를 수행할 때 사용하는 Supervised learning 머신러닝 기법이다.
Linear regression 과 다르게 불연속 적인 결과를 예측할 때 쓰인다.
어떠한 불연속적인 결과가 나타날 가능성을 수치화 하고 그 값을 logit function에 대입하여 결과 값이 0과 1사이의 숫자로 나타내게 하는 방식이다.
P는 특정 이벤트가 일어날 확률이고, odds 는 probability 값이 0~1인 것을 다르게 표현하기 위한 식이다.
odds 를 사용하는 이유는 특정 이벤트가 일어날 확률을 constant 화 시킬 수 있기 때문이다.
마지막으로 ln 함수를 이용하여 logit함수를 만들어 낸다.
# probability of event occurrence / probability of not event occurrence
odds = p/(1-p)
ln(odds) = ln(p/(1-p))
logit(p) = ln(p/(1-p)) = b0+b1X1+b2X2+b3X3....+bkXk
이렇게 구해진 각각의 label에 대한 확률을 계산한 뒤, Joint probability 에서 MLE 값을 최대화 하기 위해 최적화 시킨다.