클러스터링은 Unsupervised learning 기법으로 데이터들을 비슷한 것끼리 군집시켜 구분하기 쉽도록 하는 알고리즘이다.

KNN

Regression, classification에 모두 쓰일 수 있으며, K의 의미는 데이터에서 가장 가까운 k개의 데이터를 골라서 해당 데이터의 클래스를 구분한다는 의미이다.

만약 K가 3개라면 위의 경우 o class 가 더 많으므로, c는 o class에 속하게 된다.

만약 K가 1개라면 각각의 데이터가 모두 고유의 class를 가지게 된다.

New data point 이외의 모든 데이터들은 labeling이 되어 있다.

Pros

• 직관적이고 간단하다.
• 추정이 없다. (데이터에 대한)
• 학습하는 과정이 없다.
• 대부분의 머신러닝 알고리즘은 multi class 문제를 풀기 위해 다른 트릭이 필요하지만, knn은 별다른 노력이 필요하지 않다.
• hyperparameter가 하나이다.(K)
• 다양한 distance 알고리즘이 있다.

Cons

• 차원의 저주 → 변수 데이터가 많아질 수록(차원이 높을수록) 새로운 데이터를 예측하기가 힘들어 진다.
• 거리를 계산하기 위해 모든 데이터가 동일한 feature를 가지고 있어야 한다.
• K를 찾아야 한다.
• Imbalane data에 취약하다. → 많은 데이터 클래스가 유리하다.