AI
게이트가 추가된 RNN - RNNLM 추가 개선
LSTM 계층 다층화 RNNLM으로 정확한 모델을 만들고자 한다면 많은 경우 LSTM 계층을 깊게 쌓아(계층을 여러겹 쌓아) 효과를 볼 수 있다. LSTM 계층을 2층으로 쌓은 RNNLM 첫 번째 LSTM 계층의 은닉 상태가 두 번째 LSTM 계층에 입력된다. LSTM 계층을 몇 층이라도 쌓을 수 있으며, 덕분에 더 복잡한 패턴을 학습할 수 있게 된다. 드롭아웃에 의한 과적합 억제 층을 깊게 쌓음으로써 표현력이 풍부한 모델을 만들 수 있지만, 이런 모델은 종종 과적합(overfitting,과대적합)을 일으킨다. 게다가 RNN은 일반적인 피드포워드 신경망보다 쉽게 과적합을 일으킨다는 소식이다. 과적합 억제하는 전통적인 방법 '훈련 데이터의 양 늘리기'와 '모델의 복잡도 줄이기' 모델의 복잡도에 페널티를 주..
2021. 1. 22. 08:10
최근댓글