교차 엔트로피 오차 검색 결과
2 개의 검색 결과가 있습니다.
AI

Softmax-with-loss 계층의 계산 그래프

Softmax-with-Loss 계층의 계산 그래프 입력은 (a1,a2,a3) Softmax 계층은 (y1,y2,y3)를 출력한다. 정답 레이블은 (t1,t2,t3)이며 Cross Entropy Error 계층은 손실 L을 출력한다. 순전파 소프트 맥스 수식 Softmax 계층의 계산 그래프(순전파만) Cross Entropy Error 계층 교차 엔트로피 오차의 수식 Cross Entropy Error 계층의 계산 그래프(순전파만) 역전파 Cross Entropy Error 계층의 역전파 'x' 노드의 역전파는 순전파 시의 입력들의 값을 '서로 바꿔' * 상류의 미분에 곱하고 하류로 흘린다. '+'노드의 역전파는 상류에서 전해지는 미분을 그대로 흘린다. 'log'노드의 역전파는 아래 그림 시기을 따른다..

2020. 12. 17. 18:10
AI

신경망 학습 - 손실 함수, 평균 제곱 오차, 교차 엔트로피 함수, 미니배치 학습

훈련 데이터와 시험 데이터 훈련 데이터만 사용해 학습하면서 최적의 매개변수를 찾는다. 그 후 시험 데이터를 사용해 앞서 훈련한 모델의 실력을 평가한다. 나누는 이유는 범용적으로 사용할 수 있는 모델을 원하기 때문 범용 능력 아직 보지 못한 데이터(훈련 데이터에 포함되지 않는 데이터)로도 문제를 올바르게 풀어내는 능력 기계학습의 최종 목표 손실 함수 신경망도 '하나의 지표'를 기준으로 최적의 매개변수 값을 탐색한다. 신경망 학습에서사용하는 지표는 손실 함수다. 손실 함수는 임의의 함수를 사용할 수도 있지만 일반적으로는 평균 제곱 오차와 교차 엔트로피 오차를 사용한다. 평균 오차 제곱 가장 많이 쓰이는 손실 함수 yk는 신경망의 출력(신경망이 추정한 값), tk는 정답 레이블, k는 데이터의 차원 수를 나타..

2020. 10. 27. 21:04