손실 함수와 경사 하강법 관계

경사 하강법

• 어떤 손실 함수(loss fucntion)가 정의되었을 때 손실 함수의 값이 최소가 되는 지점을 찾아가는 방법
• 예상한 값과 실제 타깃값의 차이를 함수로 정의한 것

 

제곱 오차

• 타깃값과 예측값을 뺀 다음 제곱
• 제곱 오차의 최솟값을 찾는 방법을 알면 모델을 쉽게 만들 수 있다.

[그림1] 제곱오차 수식

 

 

제곱 오차의 최솟값 알아내기

• 기울기에 따라 함수의 값이 낮은 쪽으로 이동해야 한다.
• 기울기를 구하려면 제곱 오차를 가중치나 절편에 대해 미분하면 된다.
• 제곱 오차는 가중치나 절편에 대해 미분할 수 있다.

가중치에 대하여 제곱 오차 미분하기

제곱 오차를 가중치(w)에 대하여 편비문한 것이다.

[그림2] 가중치에 대하여 제곱 오차 미분하기

 

편미분이란 미분의 대상 변수(w)를 제외한 다른 변수(x,b등)를 상수로 취해 미분한 것이다. 

*y는 타깃 데이터이므로 w의 함수가 아니고 y햇은 w의 함수인 점만 조심하면 된다.

 

가중치에 대한 제곱 오차의 변화율을 구했다면 가중치 업데이트에 변화율을 더했던 것과 비슷한 방법으로 가중치 업데이트

 

[그림3] 제곱오차 미분

y_hat = x_i * w + b
err = y_i - y_hat
w_rate = x_i
w = w + w_rate * err
# 제곱 오차 미분

 

 

절편에 대하여 제곱 오차 미분하기

[그림4] 절편에 대하여 제곱 오차 미분하기 유도식

 

미분 과정 w에 대한 편미분 과정과 매우 비슷 가중치에서 변화율을 뺏던 이유와 같은 이유로 절편에서 변화율을 뺀다.

[그림5] 미분 과정

 

err = y_i - y_hat
b = b+1 *err

 

 

손실 함수

• 다른 이름으로는 비용 함수(cost function) 또는 목적 함수(objective function)이 있다.
• 비용 함수는 모든 훈련 데이터에 대한 손실 함수의 합을
• 목적 함수는 최적화하기 위한 대상 함수를 의미한다.