퍼셉트론,아달린, 로지스틱 회귀

퍼셉트론

• 1957년 코넬 항공 연구소(Cornell Aeronautical Lab)의 프랑크 로젠블라트(Frank Rosenblatt)는 이진 분류 문제에서 최적의 가중치를 학습하는 퍼셉트론(Perceptron)알고리즘을 발표하였다.
• 이진분류(binary classification)이란 임의의 샘플 데이터를 True나 False로 구분하는 문제를 말한다.
• 퍼셉트론은 선형 회귀와 유사한 구조를 가지고 있다.
• 마지막 단계에서 샘플을 이진 분류하기 위해 계단 함수(step function)라는 것을 사용한다. 
• 계단 함수를 통과한 값을 다시 가중치와 절편을 업데이트(학습)하는데 사용한다.

선형 함수

w1x1 + w2x2 + b = z

 

계단 함수는 z가 0보다크거나 같으면 1로, 0보다 작으면 -1로 분류한다.

1은 양성 클래스(positive class), -1을 (negative class)라고 부른다.

 

아달린

• 퍼셉트론 등장 이후 1960년에 스탠포드 대학의 버나드 위드로우(Bernard Widrow)와 테드 호프(Tedd Hoff)가 퍼셉트론을 개선한 적응형 선형 뉴런(Adaptive Linear Neuron)을 발표했다.
• 적응형 선형 뉴런은 아달린(Adaline)이라고도 부른다.
• 아달린은 선형 함수의 결과를 학습에 사용한다. 계단 함수의 결과는 예측에만 활용한다.
• *퍼셉트론은 계단 함수의 결과를 학습에 사용한다.

 

로지스틱 회귀

• 아달린에서 조금 더 발전한 형태
• 분류 알고리즘이다.
• 선형 함수를 통과시켜 얻은 z를 임계 함수에 보내기 전에 변형시키는데, 바로 이런 함수를 활성화 함수(activation function)이라고 부른다.
• 활성화 함수를 통과한 값이 a로 표현되어 있는데, a는 활성화 함수를 통과한 값이다.
• 로지스틱 회귀는 마지막 단계에서 임계 함수(threshold function)를 사용해 예측을 수행한다.
• 임계 함수는 아달린이나 퍼셉트론의 계단 함수와 역할은 비슷하지만 활성화 함수의 출력값을 사용한다는 점이 다르다.

활성화 함수는 비선형 함수를 사용한다.

예)

[그림1] 비선형 함수의 예

활성화 함수가 비선형 함수를 사용하는 이유 - 선형 함수를 이용해 뉴런을 여러 개 쌓아도 결국 선형 함수가 될 것이므로 의무적으로 비선형 함수를 사용한다.

로지스틱 회귀의 활성화 함수 - 시그모이드 함수