AI
게이트가 추가된 RNN - LSTM을 사용한 언어 모델
언어 모델 신경망 구성(왼쪽 Time RNN, 오른쪽 Time LSTM) LSTM 계층을 사용하는 Rnnlm 클래스 # LSTM 계층을 사용하는 Rnnlm 클래스 import sys sys.path.append('..') from time_layers import * import pickle class Rnnlm: def __init__(self, vocab_size = 10000, wordvec_size = 100, hidden_size=100): V, D, H = vocab_size, wordvec_size, hidden_size rn = np.random.randn # 가중치 초기화 embed_W = (rn(V, D)/ 100).astype('f') lstm_Wx = (rn(D, 4 * H) / n..
2021. 1. 21. 19:26
최근댓글