AI
Softmax-with-loss 계층의 계산 그래프
Softmax-with-Loss 계층의 계산 그래프 입력은 (a1,a2,a3) Softmax 계층은 (y1,y2,y3)를 출력한다. 정답 레이블은 (t1,t2,t3)이며 Cross Entropy Error 계층은 손실 L을 출력한다. 순전파 소프트 맥스 수식 Softmax 계층의 계산 그래프(순전파만) Cross Entropy Error 계층 교차 엔트로피 오차의 수식 Cross Entropy Error 계층의 계산 그래프(순전파만) 역전파 Cross Entropy Error 계층의 역전파 'x' 노드의 역전파는 순전파 시의 입력들의 값을 '서로 바꿔' * 상류의 미분에 곱하고 하류로 흘린다. '+'노드의 역전파는 상류에서 전해지는 미분을 그대로 흘린다. 'log'노드의 역전파는 아래 그림 시기을 따른다..
2020. 12. 17. 18:10
최근댓글