AI
학습 관련 기술들 - 가중치의 초깃값
가중치의 초깃값 신경망 학습에서 특히 중요한 것이 가중치의 초깃값 초깃값 0으로 할시 오버피팅을 억제해 범용 성능을 높이는 테크닉인 가중치 감소(weight decay) 기법 가중치 감소(weight decay) 가중치 매개변수의 값이 작아지도록 학습하는 방법 가중치 값을 작게 해서 오버피팅이 일어나지 않게 하는 방법 가중치 초깃값 0 설정 매우 나쁜 아이디어 가중치 초깃값 0으로 할시 학습이 올바르게 이루어지지 않는다. 가중치를 균일한 값으로 설정해서는 안된다. 오차역전파법에서 모든 가중치의 값이 똑같이 갱신되기 때문이다. 순전파 때 입력층 가중치 0이기 때문에 두 번째 층의 뉴런에 모두 같은 값이 전달된다. 모든 뉴런에 같은 값이 입력된다는 것은 역전파 때 두 번째 층의 가중치가 모두 똑같이 갱신된다..
2020. 12. 14. 03:36
최근댓글