AI
순환 신경망(RNN) - 시계열 데이터 처리 계층 구현
RNNLM RNN을 사용한 언어 모델 RNN Language Model RNNLM의 신경망(왼쪽이 펼치기 전, 오른쪽은 펼친 후) 첫 번째(가장 아래)층은 Embedding 계층이다. 단어 ID를 단어의 분산 표현(단어 벡터)으로 변환한다. 분산 표현이 RNN 계층으로 입력된다. RNN 계층은 은닉 상태를 다음 층으로(위쪽으로) 출력함과 동시에, 다음 시각의 RNN 계층으로(오른쪽으로) 출력한다. RNN 계층이 위로 출력한 은닉 상태는 Affine 계층을 거쳐 Softmax 계층으로 전해진다. Time 계층 구현 시계열 데이터를 한꺼번에 처리하는 계층을 Time RNN이라는 이름의 계층으로 구현 시계열 데이터를 한꺼번에 처리하는 Time Embedding, Time Affine 형태의 이름으로 구현 시계..
2021. 1. 14. 09:03
최근댓글