AI
게이트가 추가된 RNN - RNN의 문제점
최근에는 단순한 RNN 대신 LSTM이나 GRU라는 계층이 주로 쓰인다. LSTM이나 GRU에는 '게이트(gate)'라는 구조가 더해져 있다. 게이트 덕분에 시계열 데이터의 장기 의존 관계를 학습할 수 있다. RNN의 문제점 RNN은 시계열 데이터의 장기 의존 관계를 학습하기 어렵다. BPTT에서 기울기 소실 혹은 기울기 폭발이 일어나기 때문 RNN 복습 RNN계층은 순환 경로를 가지고 있다. RNN 계층 : 순환 펼치기 전과 후 RNN계층은 시계열 데이터 xi를 입력하면 hi를 출력한다. hi는 RNN계층의 은닉 상태라고 하며, 과거 정보를 저장한다. 이전 시각의 은닉 상태를 이용한다는 점이 특징이다. - 과거 정보를 계승할 수 있게 된다. RNN 계층의 계산 그래프(MatMul 노드는 행렬 곱을 나타..
2021. 1. 20. 03:41
최근댓글