저번에 하나의 퍼셉트론과 커스터마이징된 활성함수로 XOR문제를 풀었던 게시물이 있었습니다, 하지만 활성함수 ReoLU가 ReaLU를 기반으로

저번에 하나의 퍼셉트론과 커스터마이징된 활성함수로 XOR문제를 풀었던 게시물이 있었습니다,

하지만 활성함수 ReoLU가 ReaLU를 기반으로 제작된 함수였기 때문에 ReLU함수와 동일한 'Dying ReLU' 현상이 나올시 해결방법으로,

2015년 ReLU의 문제점을 극복한 ELU함수를 사용하여 ReaLU와 동일하게 임계값을 적용해보았습니다.

임계값 뒤에 오는 함수도 Leaky ReLU와 비슷한 성향을 가질 수 있도록 커스터마이징이 가능합니다.

아직 공식적으로 출판된 논문도 없고, 비공식적인 함수가 될 수도 있지만, 덕분에 많이 공부되었네요

[https://github.com/Seungup/activate-functions-threshold-version](https://github.com/Seungup/activate-functions-threshold-version)