AI
다층 신경망 - 신경망 알고리즘을 벡터화해 한 번에 전체 샘플 사용
벡터화된 연산은 알고리즘의 성능을 올린다. 넘파이, 머신러닝, 딥러닝 패키지들은 다차원 배열의 계산을 빠르게 수행한다. - 행렬 연산 빠르게 수행 이런 기능을 벡터화(vertorization)된 연산 - 벡터화 연산 사용시 알고리즘 성능을 높일 수 있다. 배치 경사 하강법으로 성능 올리기 선형 회귀, 로지스틱 회귀는 알고리즘을 1번 반복할 때 1개의 샘플을 사용하는 '확률적 경사 하강법'을 사용했다. 확률적 경사 하강법은 1번 업데이트시 1개의 샘플 사용하므로 손실 함수의 전역 최솟값을 불안정하게 찾는다. 배치 경사 하강법은 가중치를 1번 업데이트할 때 전체 샘플을 사용하므로 손실 함수의 전역 최솟값을 안정적으로 찾는다. 단점 : 1번 업데이트시 사용되는 데이터의 개수가 많으므로 계산 비용이 많이든다. ..
2020. 11. 30. 13:47
최근댓글