AI
게이트가 추가된 RNN - 기울기 소실과 LSTM
LSTM의 인터페이스 LSTM이 기울기 소실을 일으키지 않는다.(일으키기 어렵게 한다.) LSTM은 RNN에 게이트 추가 단순화된 도법을 적용한 RNN 계층 tanh계산을 노드 하나로 그림 RNN 계층과 LSTM 계층 비교 c라는 경로가 있다는 차이가 있다. c를 기얽 셀(memory cell(혹은 단순한 '셀'))이라 하며, LSTM의 기억 메커니즘이다. 기억 셀의 특징은 데이터를 자기 자신으로만(LSTM 계층 내에서만) 주고받는다는 점이다. LSTM 계층 내에서만 완결되고, 다른 계층으로는 출력하지 않는다. LSTM의 은닉 상태 h는 RNN 계층과 마찬가지로 다른 계층으로(위쪽으로) 출력된다. LSTM 계층 조립하기 기억셀 ct에는 t에서의 LSTM의 기억이 저장돼 있
2021. 1. 20. 05:44
최근댓글