자연어와 단어의 분산 표현 - 시소러스

시소러스

• (기본적으로는) 유의어 사전으로, '뜻이 같은 단어(동의어)'나 '뜻이 비슷한 단어(유의어)'가 한 그룹으로 분류되어 있다.

동의어의 예) 자동차 뜻하는 동의어

[그림1] 동의어 예

• 자연어처리에 이용되는 시소러스에서는 단어 사이의 '상위와 하위'혹은 '전체와 부분'등 더 세세한 관계까지 정의해둔 경우가 있다.

 

 

WordNet

• 자연어 처리 분야에서 가장 유명한 시소러스
• 프린스턴 대학교에서 1985년부터 구축하기 시작
• 유의어를 얻거나 '단어 네트워크'를 이용할 수 있다.
• 단어 네트워크를 사용해 단어 사이의 유사도를 구할 수도 있다.

 

 

시소러스 문제점

• WordNet과 같은 시소러스에는 수많은 단어에 대한 동의어와 계층 구조 등의 관계 정의되어 있다.
• 이용하면 '단어의 의미'를 (간접적으로라도) 컴퓨터에 전달할 수 있다.
• 하지만 이처럼 수작업으로 레이블링하는 방식에는 크나큰 결점이 존재한다.

대표적 문제점

1. 시대 변화에 대응하기 어렵다.
2. 사람을 쓰는 비용이 크다.
3. 단어의 미묘한 차이를 표현할 수 없다.

 

 

출처 : 밑바닥부터 시작하는 딥러닝2

https://www.hanbit.co.kr/store/books/look.php?p_code=B8950212853

밑바닥부터 시작하는 딥러닝 2