오차역전파법 - 연쇄법칙

연쇄법칙

• '극소적 미분'을 전달하는 원리는 연쇄법칙(chain rule)에 따른 것이다.
• 계산 그래프 상의 역전파와 같다.

 

계산 그래프의 역전파 - 순전파와는 반대 방향으로 국소적 미분을 곱한다.

[그림1] 계산 그래프의 역전파

 

 

연쇄법칙이란?

• 합성 함수란 여러 함수로 구성된 함수다.
• 함성 함수 예) z = (x + y)^2라는 식은
• z = t^2, t = x + y라는 두개의 식으로 구성될 수 있다.
• 연쇄법칙은 합성 함수의 미분에 대한 성질이다.
• 합성 함수의 미분은 합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있다.

 

연쇄 법칙 원리

[그림2] 연쇄 법칙 원리

 

 

연쇄법칙과 계산 그래프

[그림2] 연쇄법칙과 계산 그래프

* 순전파와는 반대 방향으로 국소적 미분을 곱해 전달한다.

 

역전파의 계산 절차에서는 노드로 들어온 입력 신호에 그 노드의 극소적 미분(편미분)을 곱한 후 다음 노드로 전달한다.

 

즉, 역전파가 하는 일은 연쇄법칙의 원리와 같다.

 

 

[그림3] 계산그래프의 역전파의 결과

 

이미지 출처 : https://velog.io/@dscwinterstudy/%EB%B0%91%EB%B0%94%EB%8B%A5%EB%B6%80%ED%84%B0-%EC%8B%9C%EC%9E%91%ED%95%98%EB%8A%94-%EB%94%A5%EB%9F%AC%EB%8B%9D-5%EC%9E%A5-n3k5xl3thn

 

 

출처 : 밑바닥부터 시작하는 딥러닝

https://www.hanbit.co.kr/store/books/look.php?p_code=B8475831198

밑바닥부터 시작하는 딥러닝