AI
학습 관련 기술들 - 매개변수 갱신
매개변수 갱신 신경망 학습의 목적은 손실 함수의 값을 가능한 한 낮추는 매개변수를 찾는 것이었다. 매개변수의 최적값을 찾는 문제이며, 이런 문제를 푸는 것을 최적화(optimization)라 한다. 매개변수 공간은 매우 넓고 복잡해서 최적의 솔루션을 찾기 어렵다. 또한 심층 신경망에서는 매개변수의 수가 엄청나게 많아져서 사태는 더욱 심각해진다. 최적의 매개변수 값을 찾는 단서로 기울기(미분,오차역전파)를 이용했다. 매개변수의 기울기를 구해, 기울어진 방향으로 매개변수 값을 갱신하는 일을 반복해 점점 최적의 값에 다가갔다. 이것이 확률적 경사 하강법(SGD)이란 단순한 방법, 매개변수 공간을 무작정 찾는 것보다는 '똑똑한'방법이다. 지금 서 있는 장소에서 가장 크게 기울어진 방향으로 가자는 것이 SGD전략..
2020. 12. 12. 06:17
최근댓글