배치 경사 하강법 검색 결과
2 개의 검색 결과가 있습니다.
AI

다층 신경망 - 신경망 알고리즘을 벡터화해 한 번에 전체 샘플 사용

벡터화된 연산은 알고리즘의 성능을 올린다. 넘파이, 머신러닝, 딥러닝 패키지들은 다차원 배열의 계산을 빠르게 수행한다. - 행렬 연산 빠르게 수행 이런 기능을 벡터화(vertorization)된 연산 - 벡터화 연산 사용시 알고리즘 성능을 높일 수 있다. 배치 경사 하강법으로 성능 올리기 선형 회귀, 로지스틱 회귀는 알고리즘을 1번 반복할 때 1개의 샘플을 사용하는 '확률적 경사 하강법'을 사용했다. 확률적 경사 하강법은 1번 업데이트시 1개의 샘플 사용하므로 손실 함수의 전역 최솟값을 불안정하게 찾는다. 배치 경사 하강법은 가중치를 1번 업데이트할 때 전체 샘플을 사용하므로 손실 함수의 전역 최솟값을 안정적으로 찾는다. 단점 : 1번 업데이트시 사용되는 데이터의 개수가 많으므로 계산 비용이 많이든다. ..

2020. 11. 30. 13:47
AI

분류하는 뉴런 - 로지스틱 회귀 뉴런으로 단일층 신경망 만들기

로지스틱 회귀 == 단일층 신경망(single layer neural network) 하지만 층(layer) 개념은 사용하지 않음 일반적인 신경망 가장 왼쪽이 입력층(input layer), 가장 오른쪽이 출력층(output layer), 가운데 층들을 은닉층(hidden layer) 단일층 신경망 입력층과 출력 층만 가지는 신경망 입력층은 입력 그 자체여서 프로그램을 구현할 때는 겉으로 드러나지 않는다. 단일층 신경망 구현 앞의 LogisticNeuron 클래스는 이미 단일층 신경망의 역할을 할 수 있으므로 학습을 위해 단일층 신경망을 다시 만들 필요는 없다. 다시 구현하는 이유는 몇 가지 유용한 기능을 추가하기 위해서이다. 손실 함수의 결과 (layer neural network) 하지만 층(laye..

2020. 11. 16. 00:31