미술관에 GAN 딥러닝 실전 프로젝트 - 6.6 - 인코더-디코더 모델

언어 번역

• 네트워크에 소스언어로 된 텍스트를 주입하고 타깃 언어로 번역된 텍스트를 출력하는 것이 목적이다.

 

질문 생성

• 네트워크에 텍스트 문장을 주입하고 텍스트에 관해 가능한 질문을 생성하는 것이 목적이다.

 

텍스트 요약

• 네트워크에 긴 텍스트 문장을 주입하고 이 문장의 짧은 요약을 생성하는 것이 목적이다.

 

이런 종류의 문제를 위해 인코더-디코더(encoder-decoder)라 불리는 네트워크 구조를 사용할 수 있다.

 

순차 데이터에서 인코더-디코더 과정

1. 원본 입력 시퀀스는 인코더 RNN에 의해 하나의 벡터로 요약된다.
2. 이 벡터는 디코더 RNN의 초깃값으로 사용된다.
3. 각 타임스텝에서 디코더 RNN의 은닉 상태는 완전 연결 층에 연결되어 단어 어휘 사전에 대한 확률 분포를 출력한다. 이런 식으로 인코더가 생성한 입력 데이터로 디코더를 초기화한 다음 새로운 텍스트 시퀀스를 생성할 수 있다.

 

인코더의 마지막 은닉 상태는 전체 입력 문서에 대한 하나의 표현이라고 생각할 수 있다.

디코더는 이 표현을 순차적인 출력으로 변환한다.

• ex) 텍스트를 다른 언어로 번역하거나 이 문서에 관련된 질문하는 것

훈련하는 동안 각 타임스텝에서 디코더가 생성한 출력 분포를 진짜 다음 단어와 비교하여 손실을 계산한다.

 

 

 

 

 

 

 

 

 

 

 

 

http://www.yes24.com/Product/Goods/81538614?OzSrank=1

미술관에 GAN 딥러닝 실전 프로젝트 - YES24