자연어와 단어의 분산 표현 - 자연어 처리란

자연어 처리란

• 한국어와 영어 등 우리가 평소에 쓰는 말을 자연어(natural language)라고 한다.
• 자연어 처리(Natural Language Processing)(NLP)를 문자 그대로 해석하면 '자연어를 처리하는 분야'이고, '우리의 말을 컴퓨터에게 이해시키기 위한 기술(분야)'이다.
• 자연어 처리가 추구하는 목표는 사람의 말을 컴퓨터가 이해하도록 만들어서, 컴퓨터가 우리에게 도움이 되는 일을 수행하게 하는 것이다.
• 프로그래밍 언어는 기계적이고 고정되어 있다.
• 자연어는 살아 있는 언어이며 그 안에는 '부드러움'이 있다.
• 머리가 굳은 컴퓨터에게 자연어를 이해시키는 것은 평범하게는 어렵다.
  • 예) 기계 번역, 질의응답 시스템, IME(입력기 전환), 문장 자동요약과 감정분석 등등.

 

단어의 의미

• 말은 '문자'로 구성되며, 말의 의미는 '단어'로 구성된다.
• 단어는 의미의 최소 단위인 셈이다.
• '단어의 의미'를 잘 파악하는 표현 방법

 

세 가지 기법

• 시소러스를 활용한 기법
• 통계 기반 기법
• 추론 기반 기법(word2vec)

 

 

출처 : 밑바닥부터 시작하는 딥러닝2

https://www.hanbit.co.kr/store/books/look.php?p_code=B8950212853

밑바닥부터 시작하는 딥러닝 2