AI
오차역전파 - 오차역전파법 구현
신경망 학습 순서 신경망에는 적응 가능한 가중치와 편향이 있고, 이 가중치와 편향을 훈련 데이터에 적응하도록 조정하는 과정을 '학습'이라 한다. 단계 - 미니배치 훈련 데이터 중 일부를 무작위로 가져온다. 이렇게 선별한 데이터를 미니배치라 하며, 그 미니배치의 손실 함수 값을 줄이는 것이 목표다. 단계 - 기울기 산출 미니배치의 손실 함수 값을 줄이기 위해 가중치 매개변수의 기울기를 구한다. 기울기는 손실 함수의 값을 가장 작게 하는 방향을 제시한다. 단계 - 매개변수 갱신 가중치 매개변수를 기울기 방향으로 아주 조금 갱신한다. 단계 - 반복 1~3단계 반복 기존에는 기울기를 구하기 위해 수치 미분을 사용했다. 하지만 수치 미분은 구현하기는 쉽지만 계산이 오래 걸린다. 오차역전파법을 이용하면 느린 수치 ..
2020. 12. 12. 00:27
최근댓글