합성곱 신경망(CNN) - 대표적인 CNN

대표적 CNN

• CNN의 원조인 LeNet
• 딥러닝이 주목받도록 이끈 AlexNet

 

LeNet

• 손글씨 숫자를 인식하는 네트워크 1998년 제안
• 합성곱 계층과 풀링 계층(정확히는 단순히 '원소를 줄이기'만 하는 서브샘플링 계층)을 반복하고, 마지막으로 완전연결 계층을 거치면서 결과를 출력한다.

LeNet 구성

[그림1] LeNet의 구성

 

LeNet과 '현재의 CNN'의 차이

• 활성화 함수 - LeNet은 Sigmoid 함수를 사용하는데 반해, 현재는 주로 ReLU를 사용한다.
• LeNet은 서브샘플링을 하여 중간 데이터의 크기를 줄이지만 현재는 최대 풀링이 주류다.

 

AlexNet

• 2012년 발표 딥러닝 열풍을 일으키는 데 큰 역할
• 기본적으로 구성이 LeNet과 크게 다르지 않다.

AlexNet 구성

[그림2] AlexNet 구성

 

AlexNet의 변화

• 활성화 함수로 ReLu를 이용한다.
• LRN(Local Response Normalization)이라는 국소적 정규화를 실시하는 계층을 이용한다.
• 드롭아웃을 사용한다.
• 환경과 컴퓨터 기술이 큰 진보를 이뤄 발전했다.

 

 

출처 : 밑바닥부터 시작하는 딥러닝

https://www.hanbit.co.kr/store/books/look.php?p_code=B8475831198

밑바닥부터 시작하는 딥러닝