AI
word2vec 속도개선 - word2vec 개선2
은닉층 이후의 처리(행렬 곱과 Softmax 계층의 계산)병목 해소가 목표 네거티브 샘플링(부정적 샘플링)기법 사용해 해결 Softmax 대신 네거티브 샘플링을 이용하면 어휘가 아무리 많아져도 계산량을 낮은 수준에서 일정하게 억제할 수 있다. 은닉층 이후 계산의 문제점 어휘가 100만 개, 은닉층 뉴런 100개 CBOW 모델 예 어휘가 100만 개 가정 word2vec : "you"와 "goodbye"가 맥락 "say"가 타깃(예측해야 할 단어) 은닉층 이후 계산이 오래 걸리는 부분 은닉층의 뉴런과 가중치 행렬(Wout)의 곱 Softmax 계층의 계산 거대한 행렬은 곱하는 문제 은닉층 벡터 크기 100, 가중치 행렬 크기 100 x 100 행렬 곱은 '가볍게' 만들어야 한다. Softmax 문제 어휘가..
2021. 1. 6. 20:39
최근댓글