Perceptron ตอนที่ 1 : โครงสร้างและการเรียนรู้

Perceptron ในข้อเขียนนี้หมายถึง Learning Algorithm ใช้เพื่อการทำ binary classification [5] ถูกนำเสนอโดย McCulloch & Pitts [2][3] พัฒนาและปรับปรุงโดย Minski & Papert [3][7] เป็นพื้นฐานสำคัญเรื่องหนึ่งของการทำความเข้าใจเรื่อง Machine Learning / Deep Learning  

โครงสร้างของ Perceptron

McCulloch & Pitts (MP model) ได้นำเสนอตัวแบบแรกของ perceptron ที่มีฟังก์ชั่นสองฟังก์ชั่นคือ  function G (ดูรูปที่ 1) ใช้คำนวณหา weighted sum [12] ของ input ทั้งหมดเข้าด้วยกันให้เป็นตัวเลขค่าเดียว ส่งต่อไปให้  function F (ดูรูปที่ 1) เพื่อสร้าง output  $y\in \{1,0\}$ โดยเทียบกับค่า threshold ($\theta$) ที่ถูกกำหนดไว้ก่อน 

รูปที่ 1 Perceptron ของ McCulloch & Pitts 

function ที่ทำงานร่วมกันสองส่วน :

$$\begin{array}{r}\text{(1)}& g(x)& =\sum _{i=1}^n{w}_i\cdot x_i+b\\ \text{(2)}& \hat{y}=sign(g(x))& =\{\begin{array}{ll}1& \text{if }g(x)\ge \theta \\ 0& \text{otherwise }\end{array}\\ \text{(3)}& \hat{y}=sign(g(x))& =\{\begin{array}{ll}1& \text{if }g(x)\ge \theta \\ -1& \text{otherwise }\end{array}\end{array}$$

w คือ weight โดยที่ $w_i\in {\mathrm{\Re }}^d$

x  คือ input โดยที่ $x_i\in {\mathrm{\Re }}^d$

b คือ bias

y คือ output จะเลือกใช้แบบ (2) หรือ (3) ขึ้นกับ activation function หรือ threshold function [9] ที่เลือกใช้

          

ตัวอย่างที่มักหยิบขึ้นมาอธิบายขั้นตอนการทำงานการใช้ perceptron หาผลลัพธ์ของ  OR Gate หรือ  AND Gate

OR Gate, $\theta =1,b=0,w_1=1,w_2=1$

$X_1$	$X_2$	$g(x)$	$\hat{y}$	y ($X_1\vee X_2$)
1	1	2	1	1
1	0	1	1	1
0	1	1	1	1
0	0	0	0	0

AND Gate, $\theta =2,b=0,w_1=1,w_2=1$

$X_1$	$X_2$	$g(x)$	$\hat{y}$	y ($X_1\wedge X_2$)
1	1	2	1	1
1	0	1	0	0
0	1	1	0	0
0	0	0	0	0

Rosenblatt [6] ได้เสนอตัวแบบที่เหมือนกับของ McCulloch & Pitts แต่มีเพิ่ม learning algorithm เข้าไปเพื่อให้ตัวแบบมีความเป็น adaptive สามารถปรับปรุงค่าของ parameters  ได้เอง (รูปที่ 2) โดยอาศัยค่าจากตัวแปรใหม่เรียกว่า error โดยที่จะเกิดขึ้นเมื่อ $\hat{y}\ne y$ ( $\hat{y}$ คือ output ของตัวแบบ และ y คือค่าสังเกตุ )

รูปที่ 2 Perceptron ของ Rosenblatt

Learning Algorithm ของ Perceptron

เป้าหมายของการเรียนรู้ของ perceptron คือการหาค่าประมาณของ parameters $\theta$ ซึ่งหมายถึงค่าของ weight และ bias มีการสร้างตัวแปรเพิ่มขึ้นมาคือความต่างระหว่าง output กับค่าสังเกตุ ($y_i\ne \widehat{y_i}$) จะเรียกว่าค่า error ซึ่งหาได้โดยการวัดความต่างระหว่างข้อมูล [11] ในระหว่างการเรียนรู้ 

หากมี error เกิดขึ้น ค่านี้ก็จะถูกนำไปใช้ในการปรับปรุงค่าของ parameters  กระทำวนกันไปจนกว่าจะได้ผลลัพธ์ออกมาตรงตามเป้าหมาย เขียนเป็น pseudocode ได้ดังนี้

Assign: $sign(y)=\{\begin{array}{ll}+1& \text{if }y\ge 0\\ -1& \text{otherwise }\end{array}$

Input: $(x_i,y_i)\text{ when }x\in {\mathrm{\Re }}^d\text{ and }y\in \{-1,+1\}$

Algorithm :

$$\begin{gathered} \text{initial }\theta \text{ randomly or }\theta =0 \\ \text{While not convergence do } \\ \text{pick }{x}_i\text{ randomly} \\ \hat{y}=sign(\theta \cdot x_i) \\ \text{if }\hat{y}\ne y_i\text{ then} \\ \theta =\theta +y_i\cdot x_i \\ \text{else } \\ \text{unchange }\theta \end{gathered}$$

Output :$\theta$

การปรับปรุงค่า parameters

เพื่อให้เห็นภาพง่ายขึ้น จะขออ้างอิงจากเรื่อง vector [13] และ linear classifier [8][10]  มาใช้ประกอบการอธิบาย เริ่มต้นด้วยการแปลงสมการ (1), (2) หรือ (3) ให้ในรูปของสมการ vector ก่อน

$$\begin{array}{rl}g(x)& =\overrightarrow{W}\cdot \overrightarrow{X}⟶(4)\\ \\ \overrightarrow{W}\cdot \overrightarrow{X}& =cos(\theta )||\overrightarrow{W}||\cdot ||\overrightarrow{X}||⟶(5)\\ \\ cos(\theta )& =\frac{\overrightarrow{W}\cdot \overrightarrow{X}}{||\overrightarrow{W}||\cdot ||\overrightarrow{X}||}⟶(6)\end{array}$$

$\theta$ คือมุมที่ทำกันระหว่างเวคเตอร์ $\overrightarrow{X}$ และ $\overrightarrow{W}$

เราทราบว่า $||\overrightarrow{W}||$ และ  $||\overrightarrow{X}||$ ต้องมากกว่า 0 (มีทิศทางเป็นบวกเสมอ) ดังนั้นทิศทางของ $cos(\theta )$ จึงแปรผันตรงกับ $\overrightarrow{W}\cdot \overrightarrow{X}$

ความรู้จากเรื่อง Linear classification นำไปสู่ข้อสรุปว่า decision line ที่เหมาะสมในการใช้ classify เมื่อ

$$\overrightarrow{W}\cdot \overrightarrow{X}=0⟶(7)$$

$\theta$ หรือมุมระหว่าง $\overrightarrow{W}$และ $\overrightarrow{X}$ ต้องทำให้ $cos(\theta )=0$ หรือ $vecW$ ต้องตั้งฉากกับ $\overrightarrow{X}$

กล่าวโดยสรุปว่า ความพยายามในการหา parameters ( $\overrightarrow{W}$) ที่เหมาะสมคือการพยายามปรับค่า elementใน $\overrightarrow{W}$ จนกว่าจะตั้งฉากกับ $\overrightarrow{X}$ เหมือนกับการพยายามปรับเข็มยาวบนหน้าปัดนาฬิกาให้ตั้งฉากกับเข็มสั้น 

กรณีที่ 1 เมื่อ $\overrightarrow{W}\cdot \overrightarrow{X}>0$  หรือ $cos(\theta )>0\therefore \theta <90\text{degrees}$ :

รูปที่ 3

การ update ต้องทำให้ $\theta$ เพิ่มขึ้นโดย   $$\overrightarrow{W_{new}}=\overrightarrow{W_{old}}-\overrightarrow{X}⟶(8)$$

กรณีที่ 2 : เมื่อ $\overrightarrow{W}\cdot \overrightarrow{X}<0$  หรือ $cos(\theta )<0\therefore \theta >90\text{degrees}$ :

รูปที่ 4

การ update ต้องทำให้ $\theta$ ลดลงโดย   $$\overrightarrow{W_{new}}=\overrightarrow{W_{old}}+\overrightarrow{X}⟶(9)$$

นิยามตัวแปรใหม่

$$\begin{array}{rl}error& =y-\hat{y}\\ error& =y-sign(\overrightarrow{W}\cdot \overrightarrow{X})\end{array}$$

กรณีที่ 1 $\overrightarrow{W}\cdot \overrightarrow{X}>0$

$$\begin{array}{rl}\overrightarrow{W}\cdot \overrightarrow{X}& >0\\ sign(\overrightarrow{W}\cdot \overrightarrow{X})& =1\\ \therefore error& =-1\end{array}$$

กรณีที่ 2 $\overrightarrow{W}\cdot \overrightarrow{X}<0$

$$\begin{array}{rl}\overrightarrow{W}\cdot \overrightarrow{X}& <0\\ sign(\overrightarrow{W}\cdot \overrightarrow{X})& =-1\\ \therefore error& =1\end{array}$$

นำมาสรุปรวมกันจะได้ว่า $$\boxed{{\displaystyle \therefore error=-sign(\overrightarrow{W}\cdot \overrightarrow{X})⟶(10)}}$$

 

ที่กล่าวมานำไปสู่ข้อสรุป สมการสำหรับปรับปรุง parameters คือ 

$$\boxed{{\displaystyle \overrightarrow{W_{new}}=\overrightarrow{W_{old}}+error\cdot \overrightarrow{X}⟶(11)}}$$

Python code :

กำหนด Input และ target ในตัวอย่างจะใช้ AND Gate

   
import numpy as np
   
#AND Gate
# input X 
X = np.array([[1,0,0],[1,0,1],[1,1,0],[1,1,1]])
label = np.array([0,0,0,1])

# weighting W + bias
W = np.random.rand(3)
   

ตัวแปร X คือ Array ของ List ที่ประกอบด้วยสมาชิก 3 ตัว ซึ่งเป็นตัวแทนของ bias, $x_1,x_2$ ตามลำดับ (ดูสมการที่ (1) และ (4) ประกอบ) ตัวแปร label แทนค่าของ output ที่ควรจะเป็นเมื่อ $x_1\wedge x_2$

  
summer_func = lambda w,x : np.dot(w.T,x)
threshold_func = lambda x: 0 if x < 0 else 1    
predict_func = lambda w,x : threshold_func(summer_func(w,x) )
 
 

กำหนด function ใช้งานคือ

1. summer_func หาค่าผลรวมของผลคูณระหว่าง $w_i,x_i$ ตามสมการที่ (4)
2. threshold_func หาทิศทางหรือเครื่องหมาย ตามสมการที่ (2)
3. predict_func รวมเอา summer_func และ threshold_func เข้าด้วยกัน

 
#training

epochs = 10
for e in range(epochs):
    i = np.random.choice(len(X))
    x = X[i]
    a = predict_func(W,x)    
    e = label[i] - a
    W = W + e * x
print(W)

[-2.06467451  1.94237225  0.71971274]
 
 

ใช้ learning algorithm ของ perceptron เพื่อปรับค่าของ W โดยกำหนดให้จำนวนรอบไว้ 10 รอบ ค่า W ที่แสดงออกมาคือเป้าหมายที่ต้องการ เป็นชุดตัวเลขที่ทำให้ parameter vector $\overrightarrow{W}$ ตั้งฉากกับ input vector $\overrightarrow{X}$ ตีความได้เป็น bias = -2.06467451 ,$w_1$ = 1.94237225 ,$w_2$ = 0.71971274

นำ parameter W ไปทดสอบ

AND Gate

$X_1$	$X_2$	$z=\overrightarrow{W}\cdot \overrightarrow{X}$	$sign(z)$	$X_1\wedge X_2$
1	1	$-2.06467451+1\times 1.94237225+1\times 0.71971274=0.597$	1	1
1	0	$-2.06467451+1\times 1.94237225+0\times 0.71971274=-1.223$	0	0
0	1	$-2.06467451+0\times 1.94237225+1\times 0.71971274=-1.345$	0	0
0	0	$-2.06467451+0\times 1.94237225+0\times 0.71971274=-2.064$	0	0

จะนำเอา $\overrightarrow{W}=\text{[-2.06467451 1.94237225 0.71971274]}$ ไป plot กราฟดูเทียบกับตำแหน่งของค่า $X_1,X_2$ เพื่อให้เห็นภาพชัดชึ้นว่า parameter นี้สามารถใช้แบ่งกลุ่มข้อมูลได้อย่างไร

 รูปที่ 5

ในรูปที่ 5 เส้นสีขาวคือเส้นตรงที่เป็นตัวแทนของ $\overrightarrow{W}$ ที่สามารถคั่นระหว่างจุด $X_1,X_2=(1,1)$ ออกจากจุดอื่นได้ สอดคล้องกับผลของ And Gate 

สรุป

perceptron เป็นตัวแบบหรือ algorithm (แล้วแต่มุมมอง) ที่มีองค์ประกอบสำคัญคือ 

• Input  : $x_i\in {\mathrm{\Re }}^d$
• Weight  :  $w_i\in {\mathrm{\Re }}^d$
• bias  :  $b\in \mathrm{\Re }$ 
• Aggregation function  :  $g(x)=\sum _{i=1}^n{w}_i\cdot x_i+b$ 
• Threshold function  :  $t(z)=\{\begin{array}{ll}1& \text{if }z\ge \theta \\ -1& \text{otherwise }\end{array}$
• Learning algorithm สำหรับการปรับแต่งค่า parameters (Weight และ bias) จาก error (ความต่างระหว่างค่าสังเกตุกับ output)

ข้อจำกัด

ตัวแบบนี้ทำงานได้ดีในรูปแบบปัญหา linear separator [10] หรือ binary classification แต่ยังไม่สามารถนำมาใช้กับปัญหาที่เป็น nonlinear classification อย่าง XOR Gate ได้ จึงมีการพัฒนาตัวแบบนี้ไปสู่ multiplayer perceptron [14]  ซึ่งจะได้กล่าวถึงต่อไป

XOR Gate, $\theta =1,b=0,w_1=1,w_2=1$

$X_1$	$X_2$	$g(x)$	$sign(g(x))$	$X_1⊻X_2$
1	1	2	1	1
1	0	1	1	0
0	1	1	1	0
0	0	0	0	1

เอกสารอ้างอิง

[1] http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.335.3398&rep=rep1&type=pdf

[2] https://web.csulb.edu/~cwallis/artificialn/History.htm

[3] http://wwwold.ece.utep.edu/research/webfuzzy/docs/kk-thesis/kk-thesis-html/node12.html

[4] https://en.wikipedia.org/wiki/Artificial_neuron

[5] https://en.wikipedia.org/wiki/Binary_classification

[6] https://en.wikipedia.org/wiki/Frank_Rosenblatt

[7] https://en.wikipedia.org/wiki/Perceptrons_(book)

[8] https://smarter-machine.blogspot.com/2018/07/linear-classifier.html

[9] https://www.thefreedictionary.com/threshold+function

[10] https://en.wikipedia.org/wiki/Linear_separability

[11] https://smarter-machine.blogspot.com/2019/09/blog-post.html

[12] https://en.wikipedia.org/wiki/Weighted_sum_model

[13] https://smarter-machine.blogspot.com/2018/07/vector-in-python.html

[14] https://en.wikipedia.org/wiki/Multilayer_perceptron