AI
학습 관련 기술들 - 적절한 하이퍼파라미터 값 찾기
하이퍼파라미터 각 층의 뉴런 수 배치 크기 매개 변수 갱신 시의 학습률과 가중치 감소 등 적절히 설정하지 않으면 모델의 성능이 크게 떨어지기도 한다. 검증 데이터 지금까지는 데이터셋 훈련 데이터와 시험 데이터로 분리해 이용 하이퍼 파라미터의 성능을 평가할 때는 시험 데이터를 사용해서는 안된다. 시험 데이터 사용해 하이퍼 파라미터 조정시 하이퍼파라미터 값이 시험 데이터에 오버피팅되기 때문이다. 하이퍼 파라미터 값의 '좋음'을 시험 데이터로 확인하기 되므로 하이퍼 파라미터의 값이 시험 데이터에만 적합하도록 조정되어 버린다. 그렇게 되면 다른 데이터에는 적응하지 못하는 범용 성능이 떨어지는 모델이 될지도 모른다. 하이퍼 파라미터 조정시 하이퍼파라미터 전용 확인 데이터가 필요하다. 일반적으로 하이퍼파라미터 조정..
2020. 12. 15. 00:34
최근댓글