AI
오차역전파 - 활성화 함수 계층 구현하기
ReLU 활성화 함수로 사용된다. 순전파 때의 입력인 x가 0보다 크면 상류의 값을 그대로 하류로 흘린다. 순전파 때 입력이 x가 0이하면 역전파 때는 하류로 신호를 보내지 않는다.(0을 보낸다) ReLU수식 x에 대한 y의 미분 ReLU 계산 그래프 ReLU 구현 # 5.5 활성화 함수 계층 구현 # ReLU 구현 import numpy as np class Relu: def __init__(self): self.mask = None def forward(self,x): self.mask = (x
2020. 12. 11. 20:56
최근댓글