[머신러닝3] K-최근접 이웃/표준점수(z-score)

In [54]:

from IPython.core.display import display, HTML

display(HTML("<style>.container { width:90% !important; }</style>"))

데이터 전처리¶

구글 코랩에서 실행하기

넘파이로 데이터 준비하기¶

In [2]:

fish_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 
                31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 
                35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8, 
                10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
fish_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 
                500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 
                700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0, 6.7, 
                7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]

In [3]:

import numpy as np

• np.column_stack() 함수와 np.concatenate() 함수의 연결 방식 확인하기

In [4]:

np.column_stack(([1,2,3], [4,5,6]))

Out[4]:

array([[1, 4],
       [2, 5],
       [3, 6]])

In [5]:

fish_data = np.column_stack((fish_length, fish_weight))

In [6]:

print(fish_data[:5])

[[ 25.4 242. ]
 [ 26.3 290. ]
 [ 26.5 340. ]
 [ 29.  363. ]
 [ 29.  430. ]]

In [7]:

print(np.ones(5))   #one을 5개 만들어라

[1. 1. 1. 1. 1.]

In [8]:

fish_target = np.concatenate((np.ones(35), np.zeros(14)))

In [9]:

print(fish_target)

[1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.
 0.]

In [ ]:

사이킷런으로 훈련 세트와 테스트 세트 나누기¶

• 사이킷런에서는 머신러닝 모델을 위한 알고리즘뿐만 아니라 다양한 유틸리티 도구도 제공합니다.
• 대표적인 도구가 바로 train_test_split() 함수입니다.
• 이 함수는 전달되는 리스트나 배열을 비율에 맞게 훈련 세트와 테스트 세트로 섞어서 나누어 줍니다.

In [10]:

from sklearn.model_selection import train_test_split   #중요한 함수

In [11]:

train_input, test_input, train_target, test_target = train_test_split(fish_data, fish_target, random_state=42)   #(x,y,..)

In [12]:

36/49

Out[12]:

0.7346938775510204

In [13]:

13/49

Out[13]:

0.2653061224489796

In [14]:

print(train_input.shape, test_input.shape)

(36, 2) (13, 2)

In [15]:

print(train_target.shape, test_target.shape)

(36,) (13,)

In [16]:

print(test_target)

[1. 0. 0. 0. 1. 1. 1. 1. 1. 1. 1. 1. 1.]

• 훈련 세트와 테스트 세트에 샘플의 클래스 비율이 일정하지 않다면 모델이 일부 샘플을 올바르게 학습할 수 없습니다.
• train_test_split() 함수에서는 stratify 매개변수에 타킷 데이터를 전달하면 클래스 비율에 맞게 데이터를 나눕니다.
• 훈련 데이터가 작거나 특정 클래스의 샘플 개수가 적을 때 특히 유용합니다.

In [17]:

train_input, test_input, train_target, test_target = train_test_split(
    fish_data, fish_target, stratify=fish_target, random_state=42)

In [18]:

print(test_target)

[0. 0. 1. 0. 1. 0. 1. 1. 1. 1. 1. 1. 1.]

수상한 도미 한마리¶

In [19]:

from sklearn.neighbors import KNeighborsClassifier

kn = KNeighborsClassifier()
kn.fit(train_input, train_target)
kn.score(test_input, test_target)

Out[19]:

1.0

• 도미의 데이터를 입력하여 예측해 보겠습니다. 참고로 도미의 라벨값은 1입니다.

In [20]:

print(kn.predict([[25, 150]]))

[0.]

In [21]:

import matplotlib.pyplot as plt

In [22]:

plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(25, 150, marker='^')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

• 샘플에서 가장 가까운 이웃을 찾아 주는 kneighbors() 메서드가 있습니다. 이 메서드는 이웃까지의 거리와 이웃 샘플의 인덱스를 반환합니다.
• K-NN의 기본값은 5를 사용했기 때문에 5개를 반환합니다.

In [23]:

distances, indexes = kn.kneighbors([[25, 150]])

In [24]:

plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(25, 150, marker='^')
plt.scatter(train_input[indexes,0], train_input[indexes,1], marker='D')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

In [22]:

print(train_input[indexes])

[[[ 25.4 242. ]
  [ 15.   19.9]
  [ 14.3  19.7]
  [ 13.   12.2]
  [ 12.2  12.2]]]

In [25]:

print(train_target[indexes])

[[1. 0. 0. 0. 0.]]

In [26]:

print(distances)

[[ 92.00086956 130.48375378 130.73859415 138.32150953 138.39320793]]

기준을 맞춰라¶

In [25]:

plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(25, 150, marker='^')
plt.scatter(train_input[indexes,0], train_input[indexes,1], marker='D')
plt.xlim((0, 1000))
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

• 두 특성(길이와 무게)의 값이 놓인 범위가 매우 다릅니다. 이를 두 특성의 스케일(scale)이 다르다고 말합니다.
• 특성 간 스케일이 다른 일은 매우 흔합니다. 어떤 사람이 방의 넓이를 재는데 세로는 cm로 가로는 inch로 쟀다면 정사각형 방도 직사각형처럼 보일 것입니다.
• 데이터를 표현하는 기준이 다르면 알고리즘이 올바르게 예측할 수 없습니다. 알고리즘이 거리 기반일 때 특히 그렇습니다.
• 샘플 간의 거리에 영향을 많이 받으므로 제대로 사용하려면 특성값을 일정한 기준으로 맞춰 주어야 합니다.
• 이런 작업을 데이터 전처리(data preprocessing)이라고 부릅니다.

표준점수¶

• 가장 널리 사용하는 전처리 방법 중 하나는 표준점수(standard score) 입니다.(z-score라고도 부릅니다)
• 표준점수는 각 특성값이 0에서 표준편차의 몇 배만큼 떨어져 있는지를 나타냅니다. 이를 통해 실제 특성값의 크기와 상관없이 동일한 조건으로 비교할수 있습니다.

In [44]:

mean = np.mean(train_input, axis=0)
std = np.std(train_input, axis=0)

In [45]:

print(mean, std)

[ 27.29722222 454.09722222] [  9.98244253 323.29893931]

In [46]:

train_scaled = (train_input - mean) / std   #z-score

In [47]:

train_scaled.mean()   #값이 이상하게 뜨지만 0이다

Out[47]:

1.603655480014115e-16

In [48]:

train_scaled.std()

Out[48]:

1.0

In [49]:

import pandas as pd

In [50]:

np.var([1,2,3,4,5,6,7,8,9])

Out[50]:

6.666666666666667

In [53]:

np.var([1,2,3,4,5,6,7,8,9],ddof=1)

Out[53]:

7.5

In [52]:

pd.DataFrame(data=[1,2,3,4,5,6,7,8,9]).var()   #불편분산이라서 넘파이보다 값이 크게 나옴

Out[52]:

0    7.5
dtype: float64

전처리 데이터로 모델 훈련하기¶

In [30]:

plt.scatter(train_scaled[:,0], train_scaled[:,1])
plt.scatter(25, 150, marker='^')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

In [32]:

new = ([25, 150] - mean) / std

In [33]:

plt.scatter(train_scaled[:,0], train_scaled[:,1])
plt.scatter(new[0], new[1], marker='^')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

In [34]:

kn.fit(train_scaled, train_target)

Out[34]:

KNeighborsClassifier()

• 훈련을 마치고 테스트 세트로 평가할 때 주의해야 합니다.
• 테스트 세트도 훈련 세트의 평균과 표준편차로 변환해야 합니다. 그렇지 않으면 데이터의 스케일이 같아지지 않으므로 훈련한 모델이 쓸모없게 됩니다.

In [35]:

test_scaled = (test_input - mean) / std

In [36]:

kn.score(test_scaled, test_target)

Out[36]:

1.0

In [37]:

print(kn.predict([new]))

[1.]

In [38]:

distances, indexes = kn.kneighbors([new])

In [39]:

plt.scatter(train_scaled[:,0], train_scaled[:,1])
plt.scatter(new[0], new[1], marker='^')
plt.scatter(train_scaled[indexes,0], train_scaled[indexes,1], marker='D')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

In [ ]: