AI
순환 신경망(RNN) - RNN 구현
RNN 구현 Truncated BPTT 방식의 학습을 따른다면, 가로 크기가 일정한 일련의 신경망을 만들면 된다. RNN에서 다루는 신경망(가로 길이는 고정) 길이가 T인 시계열 데이터를 받는다.(T는 임의의 값) 각 시각의 은닉 상태를 T개 출력한다. Time RNN 계층 순환 구조를 펼친 후의 계층들을 하나의 계층으로 간주한다. 상하 방향의 입력과 출력을 각각 하나로 묶으면 옆으로 늘어선 일련의 계층을 하나의 계층으로 간주할 수 있다. (x0,x1,...,xt-1)을 묶은 xs를 입력하면 (h0,h1,...,ht-1)를 출력하는 단일 계층으로 볼 수 있다. Time RNN 계층 내에서 한 단계의 작업을 수행하는 계층을 'RNN 계층'이라 하고, T개 단계분의 작업을 한꺼번에 처리하는 계층을 'Time..
2021. 1. 14. 05:45
최근댓글