오차역전파 - 역전파

덧셈 노드의 역전파

z = x + y

미분

[그림1] z = x+y 미분 해석

 

덧셈 노드 역전파 

• 왼쪽은 순전파 오른쪽이 역전파

[그림2] 순전파와 역전파

 

• 역전파는 상류에서 정해진 미분에 1을 곱해 하류로 흘린다.
• 덧셈 노드의 역전파는 1을 곱하기만 할 뿐 입력된 값을 그대로 다음 노드로 보내게 된다.
• L은 최종적으로 값을 출력하는 큰 계산 그래프를 가정
• z = x+y 계산은 그 큰 계산 그래프 중간 어딘가 존재

덧셈 노드 역전파 구체적 예

[그림3] 덧셈 노드 순전파와 역전파 구체적 예

 

• 덧셈 노드 역전파는 입력 신호를 다음 노드로 출력할 뿐이다.

 

곱셈 노드의 역전파

z = xy

 

미분

[그림4] 곱셈 노드 미분 

 

 

곱셈 노드의 역전파

• 왼쪽 순전파, 오른쪽 역전파

[그림5] 곱셈 노드 순전파, 역전파

• 곱셈 노드의 역전파는 상류의 값에 순전파 때의 입력 신호들을 '서로 바꾼 값'을 곱해서 하류로 보낸다.
• 서로 바꾼 값 : 순전파 때 x였다면 역전파에서는 y, 순전파 때 y였다면 역전파에서는 x로 바꾼다는 의미

 

곱셈 노드 역전파 구체적 예

[그림6] 곱셈 노드 순전파, 역전파 구체적 예

• 1.3 * 5 = 6.5 다른 하나는 1.3 *10 = 13
• 각각 입력 신호를 바꾼 값을 곱한다.
• 덧셈의 역전파에서는 상류의 값을 그대로 흘려보내서 순방향 입력 신호의 값은 필요하지 않았지만, 곱셈의 역전파는 순방향 입력 신호의 값이 필요하다.
• 곱셈 노드를 구현할 때는 순전파의 입력 신호를 변수에 저장해둔다. 

 

사과 쇼핑 예

• 사과의 가격, 사과의 개수, 소비세 이 세 변수 각각이 최종 금액에 어떻게 영향을 주느냐를 풀고자 한다.
• '사과 가격에 대한 지불 금액의 미분', '사과 개수에 대한 지불 금액의 미분', '소비세애 대한 지불 금액의 미분'을 구하는 것에 해당한다.

사과 쇼핑 역전파

[그림7] 사과 쇼핑 역전파

• 곱셈 노드 역전파에서는 입력 신호를 서로 바꿔서 하류로 흘린다.
• 사과 가격 미분은 2.2, 사과 개수 미분은 110, 소비세 미분은 200이다.

 

출처 : 밑바닥부터 시작하는 딥러닝

https://www.hanbit.co.kr/store/books/look.php?p_code=B8475831198

밑바닥부터 시작하는 딥러닝