AI
word2vec - 추론 기반 기법과 신경망
통계 기반 기법의 문제점 통계 기반 기법은 대규모 말뭉치를 다룰 때 문제가 생긴다. 현업에서 다루는 말뭉치의 어휘 수(예) 영어)는 100만을 훌쩍 넘는다. 거대 행렬에 SVD는 적합하지 않다, 현실적이지 못하다. 통계 기반은 말뭉치 전체의 통계(동시발생 행렬, PPMI 등)을 이용해 1회의 처리(SVD 등)만에 단어의 분산 표현을 얻지만 추론 기반 기법은 신경망을 이용하는 경우 미니배치로 학습하는 것이 일반적이다. 미니배치에서는 소량의 학습 샘플씩 반복해 학습하며 가중치를 갱신해간다. 통계기반 기법과 추론 기반 기법 비교 통계 기반은 학습 데이터 한꺼번에 처리 추론 기반은 데이터의 일부를 순차적으로 처리 추론 기반 기법 개요 '추론'이란 주변 단어(맥락)가 주어졌을 때 "?"에 무슨 단어가 들어가는지를..
2020. 12. 30. 21:44
최근댓글