AI
word2vec 속도 개선 - word2vec 개선
CBOW 모델 어휘가 100만 개, 은닉층 뉴런이 100개인 CBOW모델 두 계산 병목 입력층의 원핫 표현과 가중치 행렬 Win의 곱 계산 은닉층과 가중치 행렬 Wout의 곱 및 Softmax 계층의 계산 Embedding 계층 맥락(원핫 표현)과 MatMul 계층의 가중치 곱하기 가중치 매개변수로부터 '단어 ID에 해당하는 행(벡터)'을 추출하는 계층이 Embedding 계층 Embedding이란 단어 임베딩(word embedding)이라는 요엉에서 유래 - 분산표현 자연어 처리 분야에서 단어의 밀집벡터 표현을 단어 임베딩 혹은 단어의 분산 표현(distributed representation)이라 한다. Embedding 계층 구현 import numpy as np W = np.arange(21)...
2021. 1. 6. 18:22
최근댓글