AI
훈련노하우 - 규제 방법을 배우고 단일층 신경망에 적용
가중치 규제(regularization) 과대적합을 해결하는 대표적인 방법 중 하나 가중치의 값이 커지지 않도록 제한하는 기법 가중치 규제시 모델의 일반화 성능이 올라간다. 왼쪽은 간단한 샘플 데이터와 모델 2개 그래프 - 경사가 급한 그래프보다는 경사가 완만한 그래프가 성능이 좋다고 평가 오른쪽은 샘플 데이터에 집착한 그래프 샘플 데이터 제대로 표현을 못함 새로운 데이터에 적응하지 못하므로 좋은 성능을 가졌다고 할 수 없다. '모델이 일반화되지 않았다' 이런 상황에 규제를 사용해 가중치를 제한하면 모델이 몇 개의 데이터에 집착하지 않게 되므로 일반화 성능을 높일 수 있다. L1, L2규제 L1 규제 손실 함수에 가중치의 절댓값인 L1 노름(norm)을 추가한다. 소문자 알파벳(w)는 벡터를 의미한다. ..
2020. 11. 25. 12:59
최근댓글