ref http://blog.csdn.net/sheng_ai/article/details/38055209

对激活函数存在的不足,ref http://nuoku.vip/users/2/articles/99

Sigmoid

1. 定义:
   
2. 图像
   
3. 导数
   

---

Tanh

1. 定义:
   
2. 图像
   
3. 导数
   

---

ReLu

1. 定义:
   
2. 图像
   
3. 导数
   

 

Hinge loss function

ref: http://blog.csdn.net/luo123n/article/details/48878759