선형 회귀
- 정답과 예상값의 오차 제곱이 최소가 되는 가중치와 절편을 찾는 것이 목표
로지스틱 회귀
- 올바르게 분류된 샘플 데이터 비율 자체를 높이는 것이 목표
- 올바르게 분류된 샘플의 비율은 미분 가능한 함수가 아니기 때문에 경사 하강법의 손실 함수로 사용 불가능
- 로지스틱 손실 함수 사용
로지스틱 손실 함수
- 다중 분류를 위한 손실 함수인 크로스 엔트로피(cross entropy)손실 함수를 이진 분류 버전으로 만든 것
a = 활성화 함수가 출력한 값, y = 타깃
이진 분류는 그렇다(1), 아니다(0) 2개의 정답만 있다.
타깃의 값은 1또는 0이라는 의미다.
y = 1 or 0 인 경우로 정리
| L | |
| y가 1인 경우(양성 클래스) | -log(a) |
| y가 0인 경우(음성 클래스) | -log(1-a) |
이 두 식의 값을 최소로 만들다 보면 a의 값이 원하는 목표치가 된다.
양성 클래스인 경우 로지스틱 손실 함수의 값을 최소로 만들려면 a는 1에 자연스럽게 가까워진다.
음성 클래스인 경우 로지스틱 손실 함수의 값을 최소로 만들면 a는 0에 자연스럽게 가까워진다.
이 값을 계단 함수에 통과시키면 올바르게 분류작업 수행된다.
로지스틱 손실 함수 최소화하면 a의 값이 가장 이상적으로 생각하는 값이 된다.
로지스틱 손실 함수 미분
로지스틱 함수의 미분을 통해 로지스틱 손실 함수의 값을 최소로 하는 가중치와 절편을 찾아야 한다.
로지스틱 손실 함수와 연쇄 법칙
- 미분에서는 합성 함수의 도함수(미분한 함수)를 구하기 위한 방법인 연쇄 법칙(Chain Rule)이 있다.
- 손실 함수(L) 가중치(w) 절편(b)
그림의 오른쪽부터 왼쪽까지 역방향으로 진행
로지스틱 손실 함수를 a에 대하여 미분
a를 z에 대하여 미분
로지스틱 손실 함수를 w에 대해 미분
- 각 단계에서 구한 도함수(미분한 함수)를 곱하기
로지스틱 손실 함수를 wi에 대해 미분한 결과는 제곱 오차를 미분한 결과와 일치한다.
가중치 업데이트 방법 정리
절편 업데이트 방법
최근댓글