미술관에 GAN 딥러닝 실전 프로젝트 - 4.5 - WGAN - 와서스테인 GAN

WGAN

• 생성자가 수렴하는 것과 샘플의 품질을 연관 짓는 의미 있는 손실 측정 방법
• 최적화 과정의 안정성 향상
• 이진 크로스엔트로피 대신 새로운 손실 함수를 사용

 

립시츠 제약

• 시그모이드 함수를 적용해 출력을 [0,1[ 범위로 제한하지 않고 비평자가 [-무한, 무한) 범위에 있는 어떤 숫자도 출력한다.
• 일반적으로 신경망에서 큰 숫자는 피해야 하기 때문에 비평자에 추가적인 제약을 가하는 것이 필요하다. 이것이 립시츠 연속 함수여야 한다.

 

 

가중치 클리핑

• 비평자의 가중치를 작은 범위인 [-0.01, 0.01] 안에 놓이도록 훈련 배치가 끝난 후에 가중치 클리핑(weight clipping)을 통해 립시츠 제약을 부과하는 방법을 보였다.

 

 

WGAN 훈련

• 와서스테인 손실 함수를 사용할 때 생성자가 정확히 업데이트되도록 비평자를 훈련하여 수렴시켜야 한다.
  • 기본 GAN과 대조적
  • 기본 GAN은 그레이디언트 소실(gradient vanishing)을 피하기 위해 판별자가 너무 강해지지 않도록 하는 것이 중요하다.
• 일반적으로 생성자를 한 번 업데이트할 때 비평자를 다섯 번 업데이트한다.
• WGAN은 진짜에는 레이블 1, 가짜에는 레이블 -1을 사용해 훈련
• WGAN 비평자의 마지막 층에는 시그모이드 활성화 함수가 필요하지 않다.
• 매 업데이트 후에 비평자의 가중치를 클리핑한다.
• 생성자를 업데이트할 때마다 비평자를 여러 번 훈련한다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

http://www.yes24.com/Product/Goods/81538614?OzSrank=1

미술관에 GAN 딥러닝 실전 프로젝트 - YES24