[머신러닝1] 개념/통계와의 차이/이진분류/K-최근접 이웃(K-Nearest Neighbors)

머신러닝¶

• 규칙을 일일이 프로그래밍하지 않아도 자동으로 데이터에서 규칙을 학습하는 알고리즘을 연구하는 분야
• 인공지능의 하위 분야 중에서 지능을 구현하기 위한 소프트웨어를 담당하는 핵심 분야

1. 머신러닝과 통계의 차이¶

• 통계나 수학 이론보다 경험을 바탕으로 발전
• 머신러닝 체제에서는 정답이 있는 데이터를 정답과 같이 머신러닝 모형(알고리즘)에 넣어주면 적절한 절차가 나타납니다.
• 정답이 있는 데이터가 충분하다면 절차는 더욱 의미 있어지고 그 절차를 기반으로 새로운 데이터를 이용한 분류 또는 예측을 할 수 있습니다.

통계학¶

• 작은 수의 데이터로부터 일반적 결론을 도출할 수 있는 확률이론 기반 통계적 추론을 중심으로 함
• ex) 왜 이 사람에게 이런 영화 추천 결과가 나왔는지

머신러닝¶

• 대량의 데이터. 결과 중심
• 영화 추천해준 결과로 사람들이 많이 보는가

2. 사이킷런(scikit-learn)¶

• 컴퓨터 과학 분야의 대표적인 머신러닝 라이브러리
• 각 특성의 리스트를 세로 방향으로 늘어뜨린 2차원 리스트를 생성해야 합니다.

3. 분류(Classification)¶

• 머신러닝에서 여러 개의 종류(class라고 부름) 중 하나를 구별해 내는 문제

이진 분류(Binary Classification)¶

• 특징 2개의 클래스 중 하나를 고르는 문제

4. 지도 학습과 비지도 학습¶

• 머신러닝 알고리즘은 크게 지도 학습(supervised learning)과 비지도학습(unsupervised learning)으로 나눌 수 있음

지도 학습¶

• 지도학습에서는 데이터와 정답을 입력(input)과 타깃(target)이라고 하고, 이 둘을 합쳐 훈련 데이터(training data)라고 부릅니다.
• 훈련 데이터에 사용된 변수들을 feature라고 부르기도 합니다.
• 지도 학습은 정답(타깃)이 있으니 알고리즘이 정답을 맞히는 것을 학습합니다.

비지도 학습¶

• 비지도 학습은 타깃 없이 입력 데이터만 사용합니다.
• 이런 종류의 알고리즘은 정답을 사용하지 않으므로 무엇가를 맞힐 수 없습니다.
• 대신 데이터를 잘 파악하거나 변형하는데 도움을 줍니다.

5. K-최근접 이웃(K-Nearest Neighbors)¶

• 지도학습 알고리즘

1. 숫자 K와 거리 측정 기준을 선택합니다.
2. 분류하려는 샘플에서 k개의 최근접 이웃을 찾습니다.
3. 다수결 투표를 통해 클래스 레이블을 할당합니다.

• 새로운 데이터에 대한 예측할 때는 가장 가까운 직선거리(유클리디안 거리)에 어떤 데이터가 있는지를 살피기만 하면 됩니다.
• 데이터가 아주 많은 경우 메모리가 많이 필요하고 직선거리를 계산하는 데도 많은 시간이 필요하기 때문에 사용하기 어렵습니다.

In [3]:

from sklearn.neighbors import KNeighborsClassifier

6. 모델¶

• 머신러닝 프로그램에서 알고리즘이 구현된 객체

7. 생선 분류 문제¶

• 생성 데이터를 기반으로 도미와 빙어를 구분하기

• 도미 데이터

In [1]:

bream_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0]
bream_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0]

• 빙어 데이터

In [2]:

smelt_length = [9.8, 10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
smelt_weight = [6.7, 7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]

• 도미와 빙어 데이터 그래프

In [3]:

import matplotlib.pyplot as plt

plt.scatter(bream_length, bream_weight)
plt.scatter(smelt_length, smelt_weight)
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

• 특성1 : length
• 특성2 : weight

In [4]:

length = bream_length+smelt_length
weight = bream_weight+smelt_weight

• 훈련 세트

In [5]:

fish_data = [[l, w] for l, w in zip(length, weight)]
print(fish_data)

[[25.4, 242.0], [26.3, 290.0], [26.5, 340.0], [29.0, 363.0], [29.0, 430.0], [29.7, 450.0], [29.7, 500.0], [30.0, 390.0], [30.0, 450.0], [30.7, 500.0], [31.0, 475.0], [31.0, 500.0], [31.5, 500.0], [32.0, 340.0], [32.0, 600.0], [32.0, 600.0], [33.0, 700.0], [33.0, 700.0], [33.5, 610.0], [33.5, 650.0], [34.0, 575.0], [34.0, 685.0], [34.5, 620.0], [35.0, 680.0], [35.0, 700.0], [35.0, 725.0], [35.0, 720.0], [36.0, 714.0], [36.0, 850.0], [37.0, 1000.0], [38.5, 920.0], [38.5, 955.0], [39.5, 925.0], [41.0, 975.0], [41.0, 950.0], [9.8, 6.7], [10.5, 7.5], [10.6, 7.0], [11.0, 9.7], [11.2, 9.8], [11.3, 8.7], [11.8, 10.0], [11.8, 9.9], [12.0, 9.8], [12.2, 12.2], [12.4, 13.4], [13.0, 12.2], [14.3, 19.7], [15.0, 19.9]]

• 테스트 세트 (1=도미, 0=빙어)

In [6]:

fish_target = [1]*35 + [0]*14
print(fish_target)

[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

• k-최근접 이웃 알고리즘 클래스 import

In [7]:

from sklearn.neighbors import KNeighborsClassifier

• 객체 생성 (기본값은 n_neighbors=5)

In [8]:

kn = KNeighborsClassifier()

kn49 = KNeighborsClassifier(n_neighbors=49)

kn18 = KNeighborsClassifier()
kn18.n_neighbors=18

• 훈련시키기

In [9]:

kn.fit(fish_data, fish_target)

Out[9]:

KNeighborsClassifier()

In [10]:

kn49.fit(fish_data, fish_target)

Out[10]:

KNeighborsClassifier(n_neighbors=49)

In [11]:

kn18.fit(fish_data, fish_target)

Out[11]:

KNeighborsClassifier(n_neighbors=18)

• 정확도 (0~1) : 정확한 답을 몇 개 맞혔는지를 백분율로 나타낸 값

In [12]:

kn.score(fish_data, fish_target)

Out[12]:

1.0

In [13]:

kn49.score(fish_data, fish_target)   #35/49

Out[13]:

0.7142857142857143

In [14]:

kn18.score(fish_data, fish_target)

Out[14]:

0.9795918367346939

• 예측하기

In [15]:

kn.predict([[30, 600]])   #1이 나왔으므로 도미

Out[15]:

array([1])