Softmax-with-loss 계층의 계산 그래프

Softmax-with-Loss 계층의 계산 그래프

[그림1] Softmax-with-Loss 계층의 계산 그래프

 

• 입력은 (a1,a2,a3) Softmax 계층은 (y1,y2,y3)를 출력한다. 
• 정답 레이블은 (t1,t2,t3)이며 Cross Entropy Error 계층은 손실 L을 출력한다.

 

 

순전파

 

소프트 맥스 수식

[그림2] 소프트맥스 함수 수식

 

Softmax 계층의 계산 그래프(순전파만)

[그림3] Softmax 계층의 계산 그래프(순전파만)

 

Cross Entropy Error 계층

 

교차 엔트로피 오차의 수식

[그림4] 교차 엔트로피 오차 수식

 

Cross Entropy Error 계층의 계산 그래프(순전파만)

[그림5] Cross Entropy Error 계층의 계산 그래프

 

 

역전파

 

Cross Entropy Error 계층의 역전파

[그림6] Cross Entropy Error 계층의 역전파

 

• 'x' 노드의 역전파는 순전파 시의 입력들의 값을 '서로 바꿔' * 상류의 미분에 곱하고 하류로 흘린다.
• '+'노드의 역전파는 상류에서 전해지는 미분을 그대로 흘린다.
• 'log'노드의 역전파는 아래 그림 시기을 따른다.

[그림7] log 노드의 역전파 식

 

[그림8] Cross Entropy Error 역전파 결과

 

Softmax 계층의 역전파 단계

1단계

[그림9] Softmax 계층 역전파 1단계

• 앞 계층(Cross Entropy Error 계층)의 역전파 값이 흘러온다.

 

2단계

[그림10] Softmax 계층 역전파 2단계

• 'x'노드에서는 순전파의 입력들을 '서로 바꿔' 곱한다.

[그림11] x노드에서의 계산식

 

 

3단계

[그림12] Softmax 계층의 역전파 3단계

• 역전파 때는 흘러온 여러 값을 더한다.
• 3개의 갈라진 역전파 값(-t1S, -t2S, -t3S)이 더해진다. 이 더해진 값이 '/' 노드의 역전파를 거쳐 1/S(t1+t2+t3)가 된다.
• (t1,t2,t3)는 '원-핫-벡터'로 표현된 정답 레이블이다.

원-핫 벡터

• (t1, t2, t3)중 단 하나만 1이고 나머지는 0임을 뜻한다. 
• t1 + t2 + t3 = 1

 

 

4단계

[그림13] Softmax 계층 역전파 4단계

• '+'노드는 입력을 여과 없이 내보낸다.

 

5단계

[그림14] Softmax 계층 역전파 5단계

• 'x'노드는 입력을 '서로 바꾼'곱셈

 

6단계

[그림15] Softmax 계층 역전파 6단계

 

'exp'노드 관계식

[그림16] exp 노드 관계식

• y1-t1

 

 

출처 : 밑바닥부터 시작하는 딥러닝

https://www.hanbit.co.kr/store/books/look.php?p_code=B8475831198

밑바닥부터 시작하는 딥러닝