AI
학습관련 기술들 - 배치 정규화
배치 정규화(Batch Normalization) 각 층이 활성화를 적당히 퍼뜨리도록 '강제' 해보는 방법에서 출발한 아이디어 배치 정규화 알고리즘 2015년 제안 주목받는 이유 학습을 빨리 진행할 수 있다.(학습 속도 개선) 초깃값에 크게 의존하지 않는다.(골치 아픈 초깃값 선택 x) 오버피팅을 억제한다.(드롭아웃 등의 필요성 감소) 배치 정규화 사용한 신경망 예 배치 정규화는 이름과 같이 학습 시 미니배치를 단위로 정규화 한다. 구체적으로 평균이 0, 분산이 1이 되도록 정규화 한다. 수식 배치 정규화 계층마다 이 정규화된 데이터에 고유한 확대(scale)와 이동(shift) 변환을 수행한다. 수식 배치 정규화 계산 그래프 배치 정규화 효과 MNIST 데이터셋 이용해 배치 정규화 사용할 때와 사용하지..
2020. 12. 14. 21:50
최근댓글