순전파1 5-2. 오차역전파법 5.5. 활성화 함수 계층 구현하기 계산 그래프를 신경망에 적용하기 위해 신경망 계층을 클래스 하나로 구현한다. 우선 활성화 함수인 ReLU와 Sigmoid 계층을 구현한다. 5.5.1. ReLU 계층 활성화 함수로 사용되는 ReLU 수식은 아래와 같다. x에 대한 y의 미분은 다음처럼 구한다. 순전파 때의 입력인 x가 0보다 크면 역전파는 상류의 값을 그대로 하류로 흘린다. 순전파 때 x가 0 이하면 역전파 때는 하류로 신호를 보내지 않는다(0을 보낸다). 계산 그래프로는 아래처럼 그린다. ReLU 계층을 구현할 건데, 신경망 계층의 forward()와 backward() 함수는 넘파이 배열을 인수로 받는다고 가정한다. ReLU 계층을 구현한 코드는 common/layers.py에 있다. (깃허브htt.. 2020. 4. 9. 이전 1 다음
