AI
오차역전파 - 역전파
덧셈 노드의 역전파 z = x + y 미분 덧셈 노드 역전파 왼쪽은 순전파 오른쪽이 역전파 역전파는 상류에서 정해진 미분에 1을 곱해 하류로 흘린다. 덧셈 노드의 역전파는 1을 곱하기만 할 뿐 입력된 값을 그대로 다음 노드로 보내게 된다. L은 최종적으로 값을 출력하는 큰 계산 그래프를 가정 z = x+y 계산은 그 큰 계산 그래프 중간 어딘가 존재 덧셈 노드 역전파 구체적 예 덧셈 노드 역전파는 입력 신호를 다음 노드로 출력할 뿐이다. 곱셈 노드의 역전파 z = xy 미분 곱셈 노드의 역전파 왼쪽 순전파, 오른쪽 역전파 곱셈 노드의 역전파는 상류의 값에 순전파 때의 입력 신호들을 '서로 바꾼 값'을 곱해서 하류로 보낸다. 서로 바꾼 값 : 순전파 때 x였다면 역전파에서는 y, 순전파 때 y였다면 역전파..
2020. 12. 11. 17:25
최근댓글