Back-propagation

เป้าหมายของ backpropagation คือการหาค่า partial derivative $\frac{\partial C}{\partial w}$ และ $\frac{\partial C}{\partial b}$ สำหรับ cost function (C)  เทียบกับทุก weight และ bias ใน Neural Network

Cost function ถูก define ด้วย

$C=\frac{1}{2n}\sum _{}^x\parallel y(x)-a^L(x){\parallel }^2⇢(1)$

เมื่อ
n  คือ จำนวน training sample
y, y(x) คือ output ใน training sample
L คือ จำนวน Layer ใน network
$a^L$ หรือ $a^L(x)$ คือ vector ของ activated output เมื่อ input คือ x

Assumption 1 :

$C=\frac{1}{n}\sum _{}^x{C}_x⇢(2)$

เมื่อ
$C_x$ คือ Cost function ของแต่ละ input x (individual input x)

และ

$C_x=\frac{1}{2}\parallel y-a^L{\parallel }^2⇢(3)$

เหตุเพราะการหาค่า partial derivative ของ Cost function นั้นต้องคำนวณไปทีละครั้งเมื่อมี x input เข้ามา $\frac{\partial C_x}{\partial w}$ และ $\frac{\partial C_x}{\partial b}$ แล้วจึงค่อยไปหาค่า Cost function ของ network จากค่าเฉลี่ยอีกที

Assumption 2 :

$C=\frac{1}{2}\sum _{}^j(y_j-a_j^L{)}^2⇢(4)$

สมการที่เกี่ยวข้องใน backpropagation

1. สมการสำหรับ error ที่ output layer (${\delta }^L$)

 ${\delta }_j^L=\frac{\partial C}{\partial a_j^L}{\sigma }^{\prime }(z_j^L)⇢(5)$

สมการนี้มีสอง Term ให้พิจารณา คือ
1) $\frac{\partial C}{\partial a_j^L}$ บอกถึงความเร็วในการเปลี่ยนแปลงของ C เทียบการเปลี่ยนแปลงของ $a_j^L$ หากค่าของ C ไม่ค่อยมีความสัมพันธ์กับ $a_j^L$ แล้ว ${\delta }_j^L$ จะมีค่าน้อย

2) ${\sigma }^{\prime }(z_j^L)$ บอกถึงอัตราเร็วของการเปลี่ยนแปลงของ activation function เทียบกับอัตราการเปลี่ยแปลงของ  $z_j^L$

หากกำหนด cost function แบบ (3) จะได้
$\frac{\partial C}{\partial a_j^L}=y-a_j^L$

สมการ (5) สามารถเขียนในรูปของ Matrix operation ได้ คือ

${\delta }^L={▽}_{a}C⊚{\sigma }^{\prime }(z^L)⇢(6)$

โดย ${▽}_{a}C$ คือ gradient vector ที่มี element เป็น $\frac{\partial C}{\partial a_j^L}$ ใช้บอกถึงการเปลี่ยนแปลงของ C เทียบกับการเปลี่ยนแปลงของ activated output และเนื่องจากการใช้สมการ quadratic สำหรับ cost function นำมาแทนค่า ${▽}_{a}C$ ด้วย $y-a_j$ แล้วจะได้ สมการที่ (6) ในรุปแบบของ matrix  คือ

${\delta }^L=(y-a^L)⊚{\sigma }^{\prime }(z^L)⇢(7)$

$⊚$ เรียกว่า "Hadamard Product"  คือการการคูณ matrix ที่มีมิติเหมือนกันแบบ element ต่อ element เช่น
 $\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]⊚\left[\begin{array}{cc}i& j\\ k& l\end{array}\right]=\left[\begin{array}{cc}ai& bj\\ ck& dl\end{array}\right]$

2 สมการสำหรับ  error ที่ layer $l^{th}$ (${\delta }^l$)

${\delta }^l=(w^{l+1}{)}^T{\delta }^{l+1}⊚{\sigma }^{\prime }(z^l)⇢(8)$

ในการดำเนินการเราจะเริ่มจากการหาค่า ${\delta }^L$ ตามสมการ (7) จากนั้นหาค่า ${\delta }^{L-1}$ ด้วยสมการที่ (8) และ ${\delta }^{L-2}$ ด้วยสมการที่ (8)  อีกครั้งไปเรื่อย ๆจนถึง input layer

3 สมการคำนวณค่าการเปลี่ยนแปลงของ cost function เทียบกับ bias 

${\delta }_j^l=\frac{\partial C}{\partial b_j^l}⇢(9)$

4. สมการคำนวณค่าการเปลี่ยนแปลงของ cost function เทียบกับ weight 

$\frac{\partial C}{\partial w_{jk}^l}=a_k^{l-1}{\delta }_j^l⇢(10)$

Algorithm

1. เตรียม training sample data set
2. แต่ละชุดของ training sample data set คำนวณหา corresponding activation $a_x$ ตามขั้นตอน
     2.1 Feed forward :  สำหรับ layer  l = 2,3,4,..,L

$z^{x,l}=w^l{a}^{x,l-1}+b^i$

และ $a^{x,l}=\sigma (z^{x,l})$

     2.2  หา Output error : ในรูปแบบ vector

${\delta }^{x,L}={▽}_a{C}_x⊚{\sigma }^{\prime }(z^{x,L})$

     2.3  หา Back-propagate  the error :  ของแต่ละ layer l = L-1, L-2, L-3,..,2

${\delta }^{x,l}=((w^{l+1}{)}^T{\delta }^{x,l+1})⊚{\sigma }^{\prime }(z^{x,l})$

3. Gradient descent : แต่ละ layer l = L, L-1, L-2,...,2  ปรับค่าของ weight และ bias

$w^l\to w^l-\frac{\eta }{m}\sum _{}^x{\delta }^{x,l}(a^{x,l}{)}^T$

$b^l\to b^l-\frac{\eta }{m}\sum _{}^x{\delta }^{x,l}$