AI
게이트가 추가된 RNN - LSTM 구현
LSTM 수행하는 계산 아핀 변환(affine transformation) - 행렬 변환과 평행 이동(편향)을 결합한 형태 xWx + hWh + b 각 식 가중치들을 모아 4개의 식을 단 한 번의 아핀 변환으로 계산 4개의 가중치(또는 편향)를 하나로 모을 수 있고, 원래 개별적으로 총 4번을 수행하던 아핀 변환을 1회의 계산으로 끝낼수 있다. 일반적으로 행렬 라이브러리는 '큰 행렬'을 한꺼번에 계산할 때가 각각을 계산할 때보다 빠르기 때문이다. 4개분의 가중치를 모아 아핀 변환을 수행하는 LSTM 계산 그래프 4개분의 아핀 변환 한꺼번에 수행 slice 노드를 통해 4개의 결과를 꺼낸다. slice는 아핀 변환의 결과(행렬)를 균등하게 네조각으로 나눠서 꺼내주는 단순한 노드다. LSTM 초기화 코드 #..
2021. 1. 20. 11:03
최근댓글