Basic Data Science : Linear classifier

Hyperplane คือ subspace ที่มีจำนวน dimension น้อยกว่าสภาพแวดล้อมอยู่ 1 dimension

Linear equation :
รูปแบบทั่วไปของสมการเส้นตรงในวิชาพีชคณิตที่มองเส้นตรงในรูปแบบของความสัมพันธ์ระหว่างตัวแปร คือ

 $$\mathbf{y}\mathbf{=}\mathbf{a}\mathbf{x}\mathbf{+}\mathbf{b}⇢\mathbf{(}\mathbf{1}\mathbf{)}$$

ถ้าใน calculus จะมองในรูปแบบของฟังก์ชั่น จะเขียนในรูปแบบคือ

$$\mathbf{f}\mathbf{(}\mathbf{x}\mathbf{)}\mathbf{=}\mathbf{a}\mathbf{x}\mathbf{+}\mathbf{b}⇢\mathbf{(}\mathbf{2}\mathbf{)}$$

จาก (1) เราสามารถเขียนในรูปแบบที่ไม่มีตัวแปร y อยู่ได้ โดยแทน y ด้วย  $x_2$ และ x แทนที่ด้วย $x_1$  จะได้เป็น

$${\mathbf{x}}_{\mathbf{2}}\mathbf{=}\mathbf{a}{\mathbf{x}}_{\mathbf{1}}\mathbf{+}\mathbf{b}⇢\mathbf{(}\mathbf{3}\mathbf{)}$$

$$\mathbf{a}{\mathbf{x}}_{\mathbf{1}}\mathbf{-}{\mathbf{x}}_{\mathbf{2}}\mathbf{+}\mathbf{b}\mathbf{=}\mathbf{0}⇢\mathbf{(}\mathbf{4}\mathbf{)}$$

และถ้ากำหนดให้   $W=\left[\begin{array}{cc}a& -1\end{array}\right],X=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$ แล้ว เราอาจเขียนสมการเส้นตรงในรูปแบบของ Matrix ได้แบบนี้

$\mathbf{W}\cdot \mathbf{X}\mathbf{+}\mathbf{b}\mathbf{=}\mathbf{0}⇢\mathbf{(}\mathbf{5}\mathbf{)}$

ข้อดีของการเขียนสมการเส้นตรงในรูปแบบ (5) คือ สามารถกำหนดจำนวน dimension ให้กับ Matrix ได้ตามที่ต้องการ

พิจารณาอีกครั้ง  ถ้ากำหนดให้ $W=\left[\begin{array}{cc}{w}_1& w_2\end{array}\right],X=\left[\begin{array}{c}x\\ y\end{array}\right]$ แล้วนำแทนใน (5) จะได้

$$\left[\begin{array}{cc}{w}_1& w_2\end{array}\right]\cdot \left[\begin{array}{c}x\\ y\end{array}\right]+b=0$$

$$w_{1}x+w_{2}y+b=0$$
$$w_{2}y=-w_{1}x-b$$
$$\therefore y=\frac{-w_1}{w_2}x-\frac{b}{w_2}⇢(6)$$ 

เมื่อนำไปเทียบกับ $\mathbf{y}\mathbf{=}\mathbf{a}\mathbf{x}\mathbf{+}\mathbf{c}$ จะได้ slope คือ $\frac{-w_1}{w_2}$ และจุดตัดแกน y คือ $-\frac{b}{w_2}$

ดูตัวอย่าง ถ้าเรามีข้อมูลคู่อันดับอยู่ชุดหนึ่งดังนี้ 

$data=[(1,3),(2,5),(2,7),(4,4),(4,6),(4,8),(4,10),(7,5),(7,10),(8,3),(8,7),(9,6),(9,7),(10,10)]$

นำไป plot จะได้ดังรูปที่ 1

รูปที่ 1

พิจารณาด้วยสายตาเห็นได้ว่าข้อมูลมีแนวโน้มของการรวมกลุ่มกันเป็นสองกลุ่ม หากเราทดลองลากเส้นตรงหนึ่งเส้นเพื่อแบ่งกลุ่มข้อมูล อาจได้ดังรูปที่ 2

รูปที่ 2

คำนวณหาสมการเส้นตรงได้เป็น

 $$\mathbf{y}\mathbf{=}\mathbf{-}\mathbf{0.4}\mathbf{x}\mathbf{+}\mathbf{9}$$  

$$\mathbf{y}\mathbf{+}\mathbf{0.4}\mathbf{x}\mathbf{-}\mathbf{9}\mathbf{=}\mathbf{0}$$

นำไปเทียบกับ (6) จะได้

$\mathbf{W}\mathbf{=}\left[\begin{array}{cc}0.4& 1.0\end{array}\right]\mathbf{,}\mathbf{X}\mathbf{=}\left[\begin{array}{c}x\\ y\end{array}\right]$ และ $\mathbf{b}\mathbf{=}\mathbf{-}\mathbf{9.0}$

 สมการที่ได้คือ

$$W\cdot X-9=0$$

ในการแยกกลุ่มข้อมูล เพื่อให้รู้ว่าข้อมูลแต่ละชิ้นจะไปอยู่ในกลุ่มไหน เราจำเป็นต้องกำหนด function ขึ้นมาใหม่อีกหนึ่ง เรียกว่า hypothesis function  โดยที่

$\mathbf{h}\mathbf{(}{\mathbf{x}}_{\mathbf{i}}\mathbf{)}\mathbf{=}\{\begin{array}{ll}1& \text{if }W\cdot X-9\ge 0\\ -1& \text{if }W\cdot X-9<0\end{array}$

จะเห็นได้ว่าเรากำหนดค่าของ $h(x_i)$ มีเพียงสองค่าคือ 1,-1 จึงเหมือนกับเป็นการว่าคู่ลำดับใดควรอยู่กลุ่มไหนโดยดูจากค่าของ$h(x_i)$ นั่นเอง

ขั้นตอนต่อไป เอาค่าของข้อมูลที่มีอยู่ (มองดูแล้วจะเห็นว่าข้อมูลอยู่ในรูป coordinate หรือ vector) มาแทนค่าลงในสมการเส้นตรง แล้วพิจารณาผลของ hypothesis function (h)

Data	$W\cdot X-9$	$h(x_i)$
[1 3]	-5.6	-1
[2 5]	-3.2	-1
[2 7]	-1.2	-1
[4 4]	-3.4	-1
[4 6]	-1.4	-1
[7 5]	-1.2	-1
[8 3]	-2.8	-1
[4 8]	0.6	1
[ 4 10]	2.6	1
[ 7 10]	3.8	1
[7 9]	2.8	1
[8 8]	2.2	1
[9 7]	1.6	1
[10 10]	5.0	1

จากที่กล่าวมา จะเห็นได้ว่าการรวมกันระหว่าง linear equation กับ hypothesis function สามารถนำมาเพื่อแบ่งกลุ่มข้อมูล โดยที่เราจะเรียก hypothesis function  ว่าเป็น  Linear classifier เรียก linear equation ว่าเป็น Hyperplane equation

เพื่อลดความสับสนเราจะเติม 1 เข้าไปในข้างหน้าหรือท้ายของ $\overrightarrow{\mathbf{x}}\mathbf{=}\mathbf{(}{\mathbf{x}}_{\mathbf{1}}\mathbf{,}{\mathbf{x}}_{\mathbf{2}}\mathbf{,}{\mathbf{x}}_{\mathbf{3}}\mathbf{,}\mathbf{.}\mathbf{.}\mathbf{.}\mathbf{,}{\mathbf{x}}_{\mathbf{n}}\mathbf{)}$ ซึ่งจะกลายเป็น $\overrightarrow{\mathbf{x}}\mathbf{=}\mathbf{(}\mathbf{1}\mathbf{,}{\mathbf{x}}_{\mathbf{1}}\mathbf{,}{\mathbf{x}}_{\mathbf{2}}\mathbf{,}{\mathbf{x}}_{\mathbf{3}}\mathbf{,}\mathbf{.}\mathbf{.}\mathbf{.}\mathbf{,}{\mathbf{x}}_{\mathbf{n}}\mathbf{)}$ หรือ $\overrightarrow{\mathbf{x}}\mathbf{=}\mathbf{(}{\mathbf{x}}_{\mathbf{1}}\mathbf{,}{\mathbf{x}}_{\mathbf{2}}\mathbf{,}{\mathbf{x}}_{\mathbf{3}}\mathbf{,}\mathbf{.}\mathbf{.}\mathbf{.}\mathbf{,}{\mathbf{x}}_{\mathbf{n}}\mathbf{,}\mathbf{1}\mathbf{)}$ เปลี่ยนสัญญลักษณ์เป็น $\hat{\mathbf{x}}$

และเติม b เข้าไปใน $\overrightarrow{w}$ ในตำแหน่งเดียวกับ 1 ได้เป็น $\overrightarrow{\mathbf{w}}\mathbf{=}\mathbf{(}\mathbf{b}\mathbf{,}{\mathbf{w}}_{\mathbf{1}}\mathbf{,}{\mathbf{w}}_{\mathbf{2}}\mathbf{,}{\mathbf{w}}_{\mathbf{3}}\mathbf{,}\mathbf{.}\mathbf{.}\mathbf{.}\mathbf{,}{\mathbf{w}}_{\mathbf{n}}\mathbf{)}$ หรือ $\overrightarrow{\mathbf{w}}\mathbf{=}\mathbf{(}{\mathbf{w}}_{\mathbf{1}}\mathbf{,}{\mathbf{w}}_{\mathbf{2}}\mathbf{,}{\mathbf{w}}_{\mathbf{3}}\mathbf{,}\mathbf{.}\mathbf{.}\mathbf{.}\mathbf{,}{\mathbf{w}}_{\mathbf{n}}\mathbf{,}\mathbf{b}\mathbf{)}$ เปลี่ยนสัญญลักษณ์เป็น $\hat{\mathbf{w}}$
การเติมสมาชิกเข้าไปในลักษณะนี้ทำให้ค่าคงที่ในรูปแบบสมการ (1) นั้นหายไป ได้รูปใหม่ของสมการเป็น

$$\hat{\mathbf{w}}\cdot \hat{\mathbf{x}}\mathbf{=}\mathbf{0}$$

และ hypothesis function :

$$\mathbf{h}\mathbf{(}\widehat{{\mathbf{x}}_{\mathbf{i}}}\mathbf{)}\mathbf{=}\mathbf{s}\mathbf{i}\mathbf{g}\mathbf{n}\mathbf{(}\hat{\mathbf{w}}\cdot \widehat{{\mathbf{x}}_{\mathbf{i}}}\mathbf{)}⇢\mathbf{(}\mathbf{7}\mathbf{)}$$