순환 신경망(RNN) - 확률과 언어 모델

피드포워드(feed forward)

• 흐름이 단방향인 신경망
• 입력 신호가 다음 층(중간층)으로 전달되고, 그 신호를 받은 층은 그 다음 층으로 전달하고, 다시 다음 층으로.. 이런 식으로 한 방향으로만 신호가 전달된다.
• 구성이 다순하고 구조를 이해하기 쉽다.
  • 많은 곳에 응용 가능
• 시계열 데이터를 잘 다루지 못한다는 단점이 있다.
  • 시계열 데이터의 성질(패턴)을 충분히 학습할 수 없다.
  • 이러한 단점때문에 순환 신경망(RNN)이 등장

 

 

언어 모델

• 단어 나열에 확률을 부여한다.
• 특정한 단어의 시퀀스에 대해, 그 시퀀스가 일어날 가능성이 어느 정도인지(얼마나 자연스러운 단어 순서인지)를 확률로 평가하는 것이다.
• 기계 번역과 음성 인식이 대표적인 응용 예
• 음성 인식 시스템
  
  • 사람의 음성으로부터 몇 개의 문장을 후보로 생성
  • 언어 모델 사용해 후보 문장이 '문장으로써 자연스러운지'를 기준으로 순서를 매길 수 있다.
• 언어 모델 수식
  • w1,...wm 이라는 m개 단어로 된 문장을 생각
  • 단어 w1,...wm이라는 순서로 출현한 확률을 P(w1,...,wm)으로 나타낸다.
  • 이 확률은 사건이 동시에 일어날 확률이므로 동시 확률이라고 한다.

 

동시 확률 P 

[그림1] 동시 확률 P

• 파이 기호는 모든 원소를 곱하는 '총곱'을 뜻한다.

위 그림의 결과는 곱셈정리로부터 유도할 수 있다.

 

 

곱셈정리 식

[그림2] 곱셈정리 식

• A와 B가 모두 일어날 확률 P(A,B)는 B가 일어날 확률 P(B)와 B가 일어난 후 A가 일어날 확률 P(A|B)를 곱한 값과 같다.

 

동시확률 P(w1,...wm)을 사후 확률로 나타낸 식

[그림3] 동시확률 사후확률 식

언어 모델이 다루는 사후 확률 : t번째 단어를 타깃으로 해 t번째보다 왼쪽 단어 모두를 맥락(조건)으로 고려한다.

[그림4] 언어 모델이 다루는 사후 확률

 

• P(w1|w1,...,wt-1)이라는 확률을 얻는 것이 목표다. - 조건부 언어 모델이라고 한다.
• 이 확률을 계산할 수 있다면 언어 모델의 동시 확률 P(w1,...wm)을 구할 수  있다.

 

CBOW 모델을 언어 모델로?

• word2vec의 COBW 모델을 억지로 언어 모델에 적용하려면 아래 수식으로 맥락의 크기를 특정 값으로 한정해 근사적으로 나타낼 수 있다.

[그림5] CBOW 모델을 언어 모델로

 

마르코프 연쇄(Markov Chain)

• 미래의 상태가 현재 상태에만 의존해 결정되는 것을 말한다.
• 사상 확률이 '그 직전'N개의 사건에만 의존할 때, 이를 'N층 마르코프 연쇄'라고 한다.
• 2개의 단어에 의존해 다음 단어가 정해지는 모델이므로 '2층 마르코프 연쇄'라고 부를 수 있다.

 

왼쪽이 일반 CBOW 모델을, 오른쪽은 은닉층에서 각 맥락의 단어 벡터를 '연결'한 모델을 나타낸다.(입력층은 원 핫 벡터)

[그림6] 왼쪽이 일반 CBOW 모델을, 오른쪽은 은닉층에서 각 맥락의 단어 벡터를 '연결'한 모델을 나타낸다.

 

• CBOW 모델의 은닉층에서는 단어 벡터들이 더해지므로 맥락의 단어 순서는 무시된다.
• (you, say)와 (say, you)라는 맥락을 같은 취급한다.
• 오른쪽처럼 맥락의 단어 벡터를 연결하는 방식을 생각할 수도 있다.
• 연결하는 방식을 취하면 맥락의 크기에 비례해 가중치 매개변수도 늘어난다. (효율적이지 못함)
  • 해결책은 순환 신경망(RNN)

 

 

 

 

 

출처 : 밑바닥부터 시작하는 딥러닝2

https://www.hanbit.co.kr/store/books/look.php?p_code=B8950212853

밑바닥부터 시작하는 딥러닝 2