미술관에 GAN 딥러닝 실전 프로젝트 - 5.5 - 뉴런 스타일 트랜스퍼

뉴럴 스타일 트랜스퍼(neural style transfer)

• 훈련 세트를 사용하지 않고 이미지의 스타일을 다른 이미지로 전달한 결과
• 세 부분으로 구성된 손실 함수의 가중치 합을 기반으로 작동한다.
  • 콘텐츠 손실(content loss) : 합성된 이미지는 베이스 이미지의 콘텐츠를 동일하게 포함해야 한다.
  • 스타일 손실(style loss) : 합성된 이미지는 스타일 이미지와 동일한 일반적인 스타일을 가져야 한다.
  • 총 변위 손실(total variation loss) : 합성된 이미지는 픽셀처럼 격자 문의가 나타나지 않고 부드러워야 한다.

 

 

콘텐츠 손실

• 콘텐츠 손실은 콘텐츠의 내용과 전반적인 사물의 배치 측면에서 두 이미지가 얼마나 다른지를 측정한다.
• 비슷한 장면을 담은 두 이미지는 완전히 다른 장면을 포함하는 두 이미지보다 손실이 작아야 한다.
• 콘텐츠 손실은 개별 픽셀값과 무관해야 한다.
• 건물, 하늘, 강과 같은 고차원 특성의 존재와 대략적인 위치를 기반으로 이미지를 점수화해야 한다.

 

스타일 손실

• 뉴럴 스타일 트랜스퍼 논문에서 제시한 것은 스타일이 비슷한 이미지는 특정 층의 특성 맵 사이에 동일한 상관관계(correlation) 패턴을 가진다는 아이디어를 기반으로 한다.
• 층에 있는 모든 특성 사이의 스칼라곱을 담은 행렬을 정의한 것을 그람 행렬(Gram matrix)라고 한다.

 

 

총 변위 손실(total variation loss)

• 단순히 합성된 이미지에 있는 잡음을 측정한 것
• 이미지의 잡음을 측정하기 위해 오른쪽으로 한 픽셀을 이동하고 원본 이미지와 이동한 이미지 간의 차이를 제곱하여 더한다.
• 균형을 맞추기 위해 한 픽셀 아래로 이동하여 수행한다. 이 두 항의 합이 총 변위 손실이다.

 

 

 

 

 

 

 

 

 

 

http://www.yes24.com/Product/Goods/81538614?OzSrank=1

미술관에 GAN 딥러닝 실전 프로젝트 - YES24