728x90
반응형
연쇄법칙
- '극소적 미분'을 전달하는 원리는 연쇄법칙(chain rule)에 따른 것이다.
- 계산 그래프 상의 역전파와 같다.
계산 그래프의 역전파 - 순전파와는 반대 방향으로 국소적 미분을 곱한다.
연쇄법칙이란?
- 합성 함수란 여러 함수로 구성된 함수다.
- 함성 함수 예) z = (x + y)^2라는 식은
- z = t^2, t = x + y라는 두개의 식으로 구성될 수 있다.
- 연쇄법칙은 합성 함수의 미분에 대한 성질이다.
- 합성 함수의 미분은 합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있다.
연쇄 법칙 원리
연쇄법칙과 계산 그래프
* 순전파와는 반대 방향으로 국소적 미분을 곱해 전달한다.
역전파의 계산 절차에서는 노드로 들어온 입력 신호에 그 노드의 극소적 미분(편미분)을 곱한 후 다음 노드로 전달한다.
즉, 역전파가 하는 일은 연쇄법칙의 원리와 같다.
출처 : 밑바닥부터 시작하는 딥러닝
https://www.hanbit.co.kr/store/books/look.php?p_code=B8475831198
728x90
반응형
최근댓글