반응형 softmax1 딥러닝(Deep learning) 이론 및 실습#2 - 스마트인재개발원 활성화 함수(Activation Function) 신경망은 선형회귀와 달리 한 계층의 신호를 다음 계층으로 그대로 전달하지 않고 비선형적인 활성화 함수를 거친 후에 전달한다. 이렇게 하는 이유는 생물학적인 신경망을 모방한 것이기 때문이다. 약한 신호는 전달하지 않고 어느 이상의 신호도 전달하지 않는 'S'자형 곡선과 같이 '비선형적'인 반응을 한다고 생각한다. 실제로 비선형의 활성화 함수를 도입한 신경망이 잘 동작하고 있다. 활성화 함수로 비선형 함수를 사용하는 이유 - 계단 함수(step)와 시그모이드 함수(sigmoid)는 비선형 함수이다. - 활성화 함수로 선형함수(ex. h(z) = cz)를 사용하면 중간층(은닉층)을 여러 개 구성한 효과를 살릴 수 없다. - y(z) = h(h(h(z))) = .. 2021. 12. 20. 이전 1 다음 반응형
