신경망 - 활성화 함수, 시그모이드 함수

퍼셉트론의 단점은 인간이 수동으로 가중치 값을 정해야 한다는 것이다.

 

신경망은 이러한 퍼셉트론의 단점을 해결해준다.

 

 

신경망의 구조

[그림1] 출처 : http://blog.naver.com/PostView.nhn?blogId=sayul2&logNo=221214227740

 

 

** 위의 그림은 3층으로 구성되지만 가중치를 갖는 층이 2개뿐이기 때문에 2층 신경망이라고 한다.

** 은닉층의 뉴런은 사람의 눈에는 보이지 않는다. (그래서 은닉)

 

 

활성화 함수

• 활성화 함수는 입력 신호의 총합이 활성화를 일으키는지를 정하는 역할을 한다.

a = b + w1x1 =+w2x2 # 가중치가 달린 입력 신호와 편향의 총합을 계산하고 이름 a라고 한다.
y = h(a) # a를 함수 h()에 넣어  y를 출력하는 흐름

 

 

활성화 함수의 처리 과정

[그림2] 출처 : https://velog.io/@dscwinterstudy/chapter3-%EC%8B%A0%EA%B2%BD%EB%A7%9D-pbk5gat98o

 

 

단순 퍼센트론

• 일반적으로  단층 네트워크에서 계단 함수(임계값을 경계로 출력이 바뀌는 함수)를 활성화 함수로 사용한 모델을 가리킨다.

다층 퍼센트론

• 신경망(여러 층으로 구성되고 시그모이드 함수 등의 매끈한 활성화 함수를 사용하는 네트워크)를 가리킨다.

 

 

시그모이드 함수

• [그림3]에서 exp(-x)는 e^-x을 뜻하며, e는 자연상수로 2.7182...의 값을 가지는 실수다.
•  신경망에서는 활성화 함수로 시그모이드 함수를 이용해 신호를 변환하고, 그 변화된 신호를 다음 뉴런에 전달한다.
• 퍼셉트론과 앞으로의 신경망의 주된 차이는 활성화 함수

[그림3] 출처 : https://beyndlevel.wordpress.com/category/%EA%B3%B5%EB%B6%80/machine-learning/%EB%B0%91%EB%B0%94%EB%8B%A5%EB%B6%80%ED%84%B0-%EC%8B%9C%EC%9E%91%ED%95%98%EB%8A%94-%EB%94%A5%EB%9F%AC%EB%8B%9D/

 

 

 

출처 : 밑바닥부터 시작하는 딥러닝

https://www.hanbit.co.kr/store/books/look.php?p_code=B8475831198

밑바닥부터 시작하는 딥러닝