AI
word2vec - word2vec 보충
CBOW 모델과 확률 A라는 현상이 일어날 확률을 P(A)라고 한다. 동시 확률은 P(A,B)로 쓴다. 사후 확률은 P(A|B)로 쓴다. 사후 확률은 '사건이 일어난 후의 확률'이다. 'B'라는 정보가 주어졌을 때 A가 일어날 확률이라고 해석도 가능하다. wt-1과 wt+1이 주어졌을 때 타깃이 wt가 될 확률의 수식 wt-1과 wt+1이 일어난 후 wt가 일어날 확률을 뜻한다. CBOW 모델의 손실 함수 간결하게 표현 음의 로그 기능도(negative log likelihood)라고 한다. 샘플 데이터 하나에 대한 손실 함수 말뭉치 전체에 대한 손실 함수 skip-gram 모델 word2vec은 2개 모델 제안 CBOW모델 skip-gram모델 CBOW에서 다루는 맥락과 타깃을 역전시킨 모델 CBOW ..
2020. 12. 31. 01:42
최근댓글