Basic Data Science : Support Vector Machine (ตอน 1 )

หากมีจุดสามจุดดังนี้ $a=[4,6],b=[8,8],c=[4,8]$
และสมการ Hyperplane

 $$\hat{\mathbf{w}}\cdot \hat{\mathbf{x}}\mathbf{=}\mathbf{0}$$ 

$$\hat{w}=\left[\begin{array}{ccc}0.5& 1.0& -10.0\end{array}\right]$$ 

$$\hat{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ 1\end{array}\right]$$

นำเอา a,b,c แทนเข้าไปในสมการ Hyperplane ได้ผลดังนี้

a = [4,6]	$\left[\begin{array}{ccc}0.5& 1.0& -10.0\end{array}\right]\cdot \left[\begin{array}{c}4\\ 6\\ 1\end{array}\right]=-4$
b = [8,8]	$\left[\begin{array}{ccc}0.5& 1.0& -10.0\end{array}\right]\cdot \left[\begin{array}{c}8\\ 8\\ 1\end{array}\right]=2$
c = [4,8]	$\left[\begin{array}{ccc}0.5& 1.0& -10.0\end{array}\right]\cdot \left[\begin{array}{c}4\\ 8\\ 1\end{array}\right]=0$

สังเกตุเครื่องหมายของผลลัพธ์ของสมการหลังจากผ่านข้อมูลจุด a,b,c  ออกมาเป็น $-,+,0$ ตามลำดับ เมื่อนำไป plot  

รูปที่  1

จากรูปที่ 1 แสดงให้เห็นว่า ถ้าค่าของสมการ Hyperplane ออกมาน้อยกว่า 0 จุดอยู่ใต้เส้น หากมากกว่า 0 จะอยู่เหนือเส้น และหากเท่ากับ 0 จะอยู่บนเส้น สรุปออกมาได้ดังรูปที่  2

รูปที่ 2 

พิจารณารูปที่ 2  ถ้าหากถูกขอให้พิจารณาความมั่นใจในการแยกจุด C ออกจากจุด A  และการแยกจุด B ออกจากจุด A น่าจะได้คำตอบว่า การแยกจุด C ออกจากจุด A จะให้ความมั่นใจสูงกว่า ทั้งนี้เพราะเรามองได้ชัดว่าระยะห่างระหว่างจุด C กับ Hyperplane มากกว่ากว่าจุด B

เราทราบแล้วว่าการใช้ สมการ hyperplane ร่วมกับ hypothesis function สามารถใช้แบ่งกลุ่มข้อมูลได้ คำถามที่เกิดขึ้นคือหากเรามี hyperplane มากกว่า 1 hyperplane แล้ว เราควรเลือก hyperplane ไหนที่เหมาะกับ data set ที่มีอยู่

รูปที่ 3

ระยะทางระหว่างจุดกับเส้นตรง สามารถหาได้จากสมการ [1]

$$\mathbf{D}\mathbf{=}\frac{\mathbf{a}{\mathbf{x}}_{\mathbf{1}}\mathbf{+}\mathbf{b}{\mathbf{x}}_{\mathbf{2}}\mathbf{+}\mathbf{c}}{\sqrt[\mathbf{2}]{{\mathbf{a}}^{\mathbf{2}}\mathbf{+}{\mathbf{b}}^{\mathbf{2}}}}⇢\mathbf{(}\mathbf{1}\mathbf{)}$$

รูปแบบของสมการ vector

 $$\mathbf{D}\mathbf{=}\frac{\overrightarrow{\mathbf{w}}\cdot \overrightarrow{\mathbf{x}}\mathbf{+}\mathbf{b}}{\mid \mid \overrightarrow{\mathbf{w}}\mid \mid }⇢\mathbf{(}\mathbf{2}\mathbf{)}$$

พิจารณาสมการ (2) จะเห็นว่า เมื่อนำค่าจาก  data set มาแทนค่าลงสมการที่ละจุดไปเรื่อย ๆ ค่าที่ออกมานั้นก็คือระยะห่างระหว่างจุดที่เป็นตัวแทนของข้อมูลกับเส้น hyperplane  (การนำเอาค่า  $\mid \mid w\mid \mid$ ซึ่งเป็นค่าคงที่ไปหารก็คือการทำ normalize ค่าของระยะทาง) ค่านี้ต่อไปจะเรียกว่า "margin"

หากเปรียบการหา hyperplane เป็นการสร้างถนนคั่นระหว่างข้อมูลสองกลุ่ม เราก็กำลังพยายามสร้างถนนให้กว้างที่สุดเท่าที่จะทำได้ แต่ต้องไม่กว้างเกินไปจนไปทับอยู่บนตัวข้อมูล

เราสามารถทดสอบได้โดยการนำเอา data set มาทดสอบกับ hyperplane ทุก hyperplane ซึ่งจะได้ค่าของ hyperplane ออกมา เลือกค่าที่น้อยที่สุดของแต่ละ hyperplane มาเทียบกัน แล้วเลือก hyperplane ที่ให้ค่ามากที่สุดเป็น hyperplane ที่เหมาะสม

รูปที่ 4

ดูตัวอย่าง

$\mathbf{d}\mathbf{a}\mathbf{t}\mathbf{a}\mathbf{s}\mathbf{e}\mathbf{t}\mathbf{=}\mathbf{[}\mathbf{1}\mathbf{,}\mathbf{3}\mathbf{]}\mathbf{,}\mathbf{[}\mathbf{2}\mathbf{,}\mathbf{5}\mathbf{]}\mathbf{,}\mathbf{[}\mathbf{2}\mathbf{,}\mathbf{7}\mathbf{]}\mathbf{,}\mathbf{[}\mathbf{4}\mathbf{,}\mathbf{4}\mathbf{]}\mathbf{,}\mathbf{[}\mathbf{4}\mathbf{,}\mathbf{6}\mathbf{]}\mathbf{,}\mathbf{[}\mathbf{7}\mathbf{,}\mathbf{5}\mathbf{]}\mathbf{,}\mathbf{[}\mathbf{8}\mathbf{,}\mathbf{3}\mathbf{]}\mathbf{,}\mathbf{[}\mathbf{4}\mathbf{,}\mathbf{8}\mathbf{]}\mathbf{,}\mathbf{[}\mathbf{4}\mathbf{,}\mathbf{10}\mathbf{]}\mathbf{,}\mathbf{[}\mathbf{7}\mathbf{,}\mathbf{10}\mathbf{]}\mathbf{,}\mathbf{[}\mathbf{7}\mathbf{,}\mathbf{9}\mathbf{]}\mathbf{,}\mathbf{[}\mathbf{8}\mathbf{,}\mathbf{8}\mathbf{]}\mathbf{,}\mathbf{[}\mathbf{9}\mathbf{,}\mathbf{7}\mathbf{]}\mathbf{,}\mathbf{[}\mathbf{10}\mathbf{,}\mathbf{10}\mathbf{]}$

สมการ hyperplane :

${\beta }_{\mathbf{1}}\mathbf{=}\mathbf{(}\mathbf{0.5}\mathbf{,}\mathbf{1.0}\mathbf{)}\cdot \mathbf{(}{\mathbf{x}}_{\mathbf{1}}\mathbf{,}{\mathbf{x}}_{\mathbf{2}}\mathbf{)}\mathbf{-}\mathbf{10}$
${\beta }_{\mathbf{2}}\mathbf{=}\mathbf{(}\mathbf{0.3}\mathbf{,}\mathbf{1.0}\mathbf{)}\cdot \mathbf{(}{\mathbf{x}}_{\mathbf{1}}\mathbf{,}{\mathbf{x}}_{\mathbf{2}}\mathbf{)}\mathbf{-}\mathbf{8}$
${\beta }_{\mathbf{3}}\mathbf{=}\mathbf{(}\mathbf{0.7}\mathbf{,}\mathbf{1.0}\mathbf{)}\cdot \mathbf{(}{\mathbf{x}}_{\mathbf{1}}\mathbf{,}{\mathbf{x}}_{\mathbf{2}}\mathbf{)}\mathbf{-}\mathbf{10}$

ค่า minimum ของแต่ละ hyperplane :
${\beta }_{\mathbf{1}}\mathbf{=}\mathbf{0.00}$
${\beta }_{\mathbf{2}}\mathbf{=}\mathbf{0.38}$
${\beta }_{\mathbf{3}}\mathbf{=}\mathbf{0.08}$

ได้ว่าสมการ hyperplane ที่สองให้ค่าสูงสุดจากค่า margin ที่มากที่สุดในสามค่าที่ได้ ดังนั้น hyperplane ที่สองจึงเป็น hyperplane ที่เหมาะสมที่สุด

hyperplane ที่ 1 และที่ 3 ให้ผลของการแบ่งข้อมูลได้ไม่ค่อยดีนัก จะเห็นว่ามีข้อมูลบางส่วนไปอยู่บน hyperplane

hyperplane ที่สองให้ภาพการแบ่งกลุ่มข้อมูลที่ดีกว่า ไม่มีข้อมูลไปอยู่บน hyperplane

แสดง hyperplane ที่เหมาะสมพร้อม margin

Hyperplane ที่เหมาะสมควรให้ค่า margin ที่มากที่สุดเมื่อแทนที่ด้วย data set ที่มีอยู่
$${\beta }_{\mathbf{i}}\mathbf{=}{\hat{\mathbf{w}}}_{\mathbf{i}}\cdot {\hat{\mathbf{x}}}_{\mathbf{i}}\mathbf{,}\mathbf{i}\mathbf{=}\mathbf{1}\mathbf{,}\mathbf{2}\mathbf{,}\mathbf{3}\mathbf{,}\mathbf{.}\mathbf{.}\mathbf{,}\mathbf{n}$$
$$\mathbf{B}\mathbf{=}\mathbf{m}\mathbf{i}\mathbf{n}\mathbf{(}{\beta }_{\mathbf{i}}\mathbf{)}$$ 
เลือก hyperplane ที่ให้ค่า $max(B_i)$

[ ตอนที่ 2 ]

---

เอกสารอ้างอิง
[1] https://smarter-machine.blogspot.com/2018/07/perpendicular-distance-from-point-to.html