18 - ReLU

ReLU에 대해서 알아보겠습니다.

 

딥러닝의 학습 과정 중에서, backpropagation에서 뒤로 갈 수록 sigmoid함수를 지나게 되면서

 

얘네들의 값이 1보다 작기 때문에, 0에 가까운 값이 되게 됩니다. 때문에 뒤로 갈 수록 값이 전달되지 못하는 문제가 생깁니다.

 

이럴 때 sigmoid를 사용하지 않고, ReLU라는 애를 사용해서 학습을 시킵니다.

 

 

 

relu를 사용해서 backpropagation의 문제를 해결할 수 있습니다.

 

sigmoid가 사용되는 곳에 relu를 적용시키면 끝입니다. :)

 

 

참조

[1] - http://hunkim.github.io/ml/