sigmoid function คือ
\[ \sigma(X) = \frac{1}{1+ e^{-X}} \]
Derivative of sigmoid
\[\begin{align*} \sigma^\prime(X) &= \frac{d(\frac{1}{1+ e^{-X}})}{dX} \\ \end{align*} \]
จาก recipocal rule[1] ถ้ากำหนดให้ \( u(X) = 1+ e^{-X} \)
\[\begin{align*} \sigma^\prime(X) &= \frac{d(\frac{1}{u(X)})}{dX} \\ \sigma^\prime(X) &= -\frac{1}{u(X)^2} \frac {d u(X)}{dX} \\ \sigma^\prime(X) &= -\frac{1}{u(X)^2} u^\prime(X) \\ \end{align*} \]
จาก linearity rule[2]
\[\begin{align*} \sigma^\prime(X) &= -\frac{1}{u(X)^2} u^\prime(X) \\ \sigma^\prime(X) &= -\frac{1}{u(X)^2} \frac{d 1}{d X} \frac{d(e^{-X})}{d X} \\ \sigma^\prime(X) &= -\frac{1}{u(X)^2} \frac{(d e^{-X})}{d X} \\ \end{align*} \]
จาก exponential rule[3]
\[\begin{align*} \sigma^\prime(X) &= -\frac{1}{u(X)^2} \frac{(d e^{-X})}{d X} \\ \sigma^\prime(X) &= -\frac{1}{u(X)^2} e^{-X} \frac{(d -X )}{d X} \\ \sigma^\prime(X) &= \frac{e^{-X}}{u(X)^2} \\ \sigma^\prime(X) &= \frac{e^{-X}}{(1+ e^{-X})^2} \\ \end{align*} \]
จะเห็นว่าสมการล่าสุด ลองพยายามทำให้อยู่ในรูปของ sigmoid function
\[\begin{align*} \sigma^\prime(X) &= \frac{e^{-X}}{(1+ e^{-X})^2} \\ \sigma^\prime(X) &= \frac{1}{(1+ e^{-X})} \frac{e^{-X}}{(1+ e^{-X})} \\ \sigma^\prime(X) &= \sigma(X) \frac{e^{-X}}{(1+ e^{-X})} \\ \sigma^\prime(X) &= \sigma(X) \frac{e^{-X} +1-1 }{(1+ e^{-X})} \\ \sigma^\prime(X) &= \sigma(X) [\frac{e^{-X} +1 }{(1+ e^{-X})} - \frac{1 }{(1+ e^{-X})}] \\ \sigma^\prime(X) &= \sigma(X) [1 - \sigma(X)] \\ \end{align*} \]
นั่นคือ
\[\begin{equation} \boxed{ \sigma^\prime(X) = \sigma(X) [1 - \sigma(X)] } \end{equation} \]
เอกสารอ้างอิง
[1] https://en.wikipedia.org/wiki/Reciprocal_rule
[2] https://en.wikipedia.org/wiki/Linearity_of_differentiation
[3] https://tutorial.math.lamar.edu/classes/calci/diffexplogfcns.aspx
ความคิดเห็น
แสดงความคิดเห็น