Basic Linear algebra : Vector part I


ความหมายของ Vector

"objects called vectors, which may be added together and multiplied ("scaled") by numbers, called scalars. Scalars are often taken to be real numbers" [1]

จากนิยามนี้  Vector มีอยู่ในหลายรูปแบบ เช่น 

1. ตัวเลข  : 6.02, 0.002, 3.414,... 

6.02+0.002=6.0222×6.02=12.04

2. Polynomials หรือ Functions :  

f(x)=1+x2x2g(x)=x+3x23x3+x4f(x)+g(x)=1+2x+x23x3+x42f(x)=2+2x4x2

3. Coordinate ใน n-space  (Geometric vectors) : 

4. Elements of Real Number :

v=[123]u=[4322735]v+u=[1+432+2273+35]=[73367125]2×v=[2×12×22×3]=[246]

 รูปแบบนี้จะเขียนได้สองแบบคือแนวตั้ง (เรียกว่า column vector)  [123] หรือ แนวนอน (เรียกว่า row vector)  [123]  ก็ได้ และเป็นรูปแบบที่ถูกใช้ในข้อเขียนนี้ 

จากตัวอย่างทั้ง 4 แบบ มีข้อสังเกตุว่าการรวมกันของ vector ต้องอยู่ในรูปแบบเดียวกันเท่านั้น  (any two things of the same kind can be added) ถ้าต่างรูปแบบกันจะไม่สามารถหาคำตอบได้ เช่น  [123]+3x2 

นอกจากนี้ จะเห็นว่ามีคำ "scalar" ปรากฏอยู่ ความหมายของ scalar คือ unit of data เป็นสิ่งที่ทำให้เราทราบค่าของสิ่งนั้น เราจะเอา scalar มาจาก set ของจำนวนจริง 


รูปที่ 1

ในรูปที่ 1,  v=[22] , v เป็นสิ่งที่ถูกเรียกว่า vector ในขณะที่เลข 2 ทั้งสองตัวในวงเล็บเป็นจำนวนจริงเรียกว่า scalar หากกล่าวเช่นนี้แล้ว เราจะนับ scalar เป็น vector ได้ในบางกรณี บางมุมมอง ที่นับได้เพราะมันไม่ขัดกับนิยามที่กล่าวมา 

[top]


Vector กับ Coordinate system

เราทราบแล้วว่าเราสามารถใช้ตัวเลขหนึ่งตัวแทนจุดบนเส้นตรงแนวนอนหรือที่เรียกว่าเส้นจำนวน ใช้ตัวเลขสองตัวหรือสามตัวแทนจุดบนระนาบ (plane) การใช้ตัวเลขทำนองนี้คือการบอกตำแหน่งของจุด [2] บนระนาบ จำนวนของตัวเลขที่ใช้เป็นการบอกตำแหน่งขึ้นกับจำนวน space (dimension) ที่กำลังกล่าวถึง เช่น 
1-space ใช้ 1 ตัว  
2-space ใช้ 2  ตัว [2, 3] ,[4, 5], ... ใช้ระบุตำแหน่งบนระนาบ x-axis, y-axis  
3-space ใช้ 3 ตัว  [1, 2, 3], [4, 5, 6], ... ใช้ระบุตำแหน่งในระนาบ x-axis, y-axis , z-axis 
...
n-space ใช้ n ตัว [x1,x2,x3,...,xn]

รูปที่ 2

การระบุตำแหน่งของจุด X ใดๆ บน nspace ด้วยระบบตัวเลขแบบนี้ อาจเรียกว่า coordinate ของ X ซึ่งมีรูปแบบที่เหมือนกับการเขียน vector แบบ elements of real number  

เมื่อต้องการระบุว่า vector นั้นอยู่ใน space  หรือ dimension ใด เขียนแทนด้วย n เลขกำลังคือจำนวน space และ หมายถึง set ของจำนวนจริง 

2 แทน 2-space : [0.5π]2 

3  แทน 3-space  : [π4π2π3]3

n  แทน n-space  : x=[x1x2x3xn]n

ระบบ coordinate ถือว่าทุกจุดใน space มีจุดเริ่มต้นมาจากจุด origin มี coordinate เป็น 0 (จำนวน 0 ขึ้นกับว่าอยู่ในขนาด space ใด) และสมาชิกใน coordinate ของจุด map ไปยังแกนของระนาบในแนวฉากทุกแกน เป็นการบอกระยะห่างของจุดนั้นจาก origin  

ดูจากรูปที่ 2 เส้นประแสดงแนวการ map จาก coordinate ลงไปยังแกนในแนวฉาก ยกตัวอย่างเช่น x=[231] จะหมายถึง จุดนี้อยู่ใน 3-space หรือ 3 มีระยะห่างจาก origin=[000]  บน x-axis = 2 หน่วย บน y-axis = 3 หน่วย และ บน z-axis =1 หน่วย (ดูรูปที่ 3 ประกอบ)
รูปที่ 3

การใช้ระบบ coordinate มาเขียนเป็น vector มีข้อดีคือทำให้รับรู้ถึงทิศทางและสามารถคำนวณหา attitude (norm) ได้ด้วย (จะกล่าวถึงต่อไป)

[top]


Special vectors

Zero vector คือ vector ที่สมาชิกทุกตัวเป็น 0 เช่น a=[000]

Unit vector คือ vector ที่มีขนาด (magnitude) เป็น 1 บางครั้งเรียก normalized vector เขียนแทนด้วย v^ หาได้จาก v^=vv (การคูณ vector ด้วย 1magnitude เรียกว่าการทำ normalization )

Sparse vector คือ vector ที่สมาชิกส่วนใหญ่เป็น 0 (ด้วยนิยามนี้ เราอาจนับ unit vector และ zero vector ว่าเป็น sparse vector ด้วยก็ได้)  เช่น x1=[2000],x2=[01003],x3=[100200500],x4=[0001000]


[top]


Basic vector operations 


1. Addition หรือการบวก vector  
vector ที่จะรวมกันได้ต้องอยู่ใน space เดียวกัน หรือมีจำนวนสมาชิกเท่ากัน การรวมกันจะเกิดแบบ element-wise คือ จะนำเอาสมาชิกของ vector ที่อยู่ตำแหน่งเดียวกันมารวมกัน

x=[x1x2x3xn],y=[y1y2y3yn]x+y=[x1+y1x2+y2x3+y3xn+yn] เช่น x=[123],y=[321]x+y=[1+32+23+1]=[444]

คุณสมบัติพื้นฐานของการบวก

  1. Commutativity (การสลับ) :  x+y=y+x
  2. Associativity (การจัดหมู่)  : x+(y+z)=(x+y)+z 
  3. Adding to zero vector has no effect : x+0=x
  4. xx=0


2 .  Vector-scalar  multiplication

เช่นเดียวกันกับการบวก การคูณ vector ด้วย scalar เป็น element-wise operation ดังนี้

β[x1x2x3xn]=[βx1βx2βx3βxn] เมื่อ β

ยกตัวอย่าง

2×[0.10.20.3]=[2×0.12×0.22×0.3]=[0.20.40.6]

คุณสมบัติพื้นฐานของการคูณ

  1. Associativity (การจัดหมู่)  : (βα)x=β(αx)  (2×3)[0.10.20.3]=(2×[0.10.20.3])×3=[0.61.21.8]
  2. Distributivity (การกระจาย) :

    (α+β)x=αx+βx (2+3)[0.10.20.3]=2×[0.10.20.3]+3×[0.10.20.3]=[0.20.40.6]+[0.30.60.9]=[0.51.01.5]

    α(x+y)=αx+αy 2([123]+[321])=2×[123]+2×[321]=[246]+[642]=[888]


[top]


Vector space

[3,4,5]
vector space หรือ linear space คือ set  ของ vector  ที่มีเงื่อนไขว่า เมื่อนำเอา binary operation สองตัวคือ vectors addition และ vector-scalar multiplication (เขียนแทนด้วย ) มาใช้แล้ว จะต้องสอดคล้องกับเงื่อนไขดังนี้

1. xV,rrxV
2. xV,r,s(r+s)x=rx+sx
3. x,yV,rr(x+y)=rx+ry
4. xV,r,s(rs)x=r(sx)
5. xV1x=x
6. x,yVx+yV
7. x,y,zV(x+y)+z=x+(y+z)
8. eV,xVe+x=x,x+e=x
9. yV,xVy+x=e
10. x,yV,y+x=x+y

[top]


Linear combination


ถ้ามี v ที่อยู่ใน vector space V แล้ว จะสามารถทำให้ v อยู่ในรูปของผลรวมของ  vector-scalar multiplication ของ vector อื่นที่อยู่ใน vector space เดียวกันได้ [6]

v=a1u1+a2u2+a3u3+...+anun

โดยที่  v,u1,...,unV  และ a1,a2,a3,an  เรียก v ว่าเป็น linear combination ของ u1,u2,u3,...,un

ตัวอย่าง 1 :
Element of Real : 
[1116]=2[12]+3[34]

นั่นคือ [1116] คือ linear combination ของ [12],[34]

Polynomail :
x21=a1(1)+a2(x+1)+a3(x2+x+1)

เมื่อ a3=1,a2+a3=0,a3+a2+a1=0
 นั่นคือ  x21 คือ linear combination ของ 1,x+1,x2+x+1

เราอาจได้เห็นรูปแบบของการเขียน linear combination คือ i=1nβixi , βi และ xiV

ตัวอย่าง 2  : ถ้ามี v1=[235], v2=[81321] จงแสดงว่า u=[112] เป็น linear combination ของ v1,v2

ตามนิยามแล้ว ถ้า u เป็น linear combination ของ v1 และ v2 แล้ว เราย่อมจะหาค่า a1,a2  ที่ทำให้สมการนี้เป็นจริง u=a1v1+a2v2

แทนค่าที่กำหนดมา
a1[235]+a2[81321]=[112][2×a13×a15×a1]+[8×a213×a221×a2]=[112] นั่นคือ (1)2a1+8a2=1(2)3a1+13a2=1(3)5a1+21a2=2 เมื่อแก้สมการออกมาแล้วได้ a1=52,a2=12 แสดงว่า u คือ linear combination ของ v1,v2

linear combination ของ vector เป็นพื้นฐานสำคัญในเรื่อง linear algebra ซึ่งใช้กันบ่อยใน Machine learning

[top]


Vector spanning (Vector span / Span ) [7]


จะเรียกสั้นว่า span เป็นเรื่องต่อเนื่องจาก linear combination ความหมายของ span คือ ถ้ามี set ของ vector X={v1,v2,v3,...,vn} แล้ว span ของ X คือ set ของ linear combination ของสมาชิกใน X  เขียนแทนด้วย  span(X)  

ถ้ามี V={v1,v2} โดย v1=[12],v2=[35]  จะได้ span(V) = a1v1+a2v2

ตัวอย่าง 1 : กำหนดให้ V={[23],[12]} จงพิสูจน์ว่า span(V)=[193]

การพิสูจน์คือ การพยายามหาค่า a1,a2 ที่ทำให้สมการ (4) เป็นจริง
(4)[193]=a1[23]+a2[12][193]=[2×a13×a1]+[1×a22×a2] นั่นคือ 19=2a1+a23=3a1+2a2

ได้ผลลัพธ์คือ a1=35,a2=51 แสดงว่าสมการ (4) เป็นจริงได้ ดังนั้น span(V)=[193] เป็นจริง

ตัวอย่าง 2 กำหนดให้ V = {[31],[42],[23],[42],[13]} vector span คือ set ของ span(V) เราสามารถสร้าง vector span จาก V โดยการสร้าง linear combination จากสมาชิกขอ V เช่น

(5)[2.051.21]=0.196[13]+0.62[31](6)[2.341.904]=0.62[31]+0.88[13]

นำผลจาก (5),(6) มาเขียนเป็น set , S = {[2.051.21],[2.341.904]} set นี้ก็คือ vector span ของ V จะสังเกตุได้ว่า ทั้ง S,V 2

รูปที่ 4


อาจจะช่วยให้เห็นภาพชัดขึ้นการ span คืออะไร ถ้าเอาสมาชิกใน V มาวาดเป็นลูกศรตามระบบ coordinate เส้นสีเขียวแทน vector ที่เป็นสมาชิกของ V เส้นสีแดง แทน vector ใน S ซึ่ง span มาจาก V (linear combination ด้วยสมาชิกของ V) หากดูผ่านโดยเร็ว อาจมองว่า vector สีแดง ไม่ได้สัมพันธ์อะไรกับ vector สีเขียวเลย แต่แท้จริง vector สีแดงเกิดจาก linear combination ของ vector สีเขียว ดังนั้น vector สีแดงจึงมี  information ที่มาจาก vector สีเขียว

[top]


Linear dependence และ Linear independence [8]
เอานิยามมาเขียนไว้ก่อน 

"A sequence of vectors  from a vector space V is said to be linearly dependent, if there exist scalars  , not all zero, such that "

หรืออาจกล่าวอีกแบบว่า ถ้ามี V = {v1,v2,...,vn} และ linear combination 0=a1v1+a2v2+...+anvn แล้ว ถ้ามีเพียง a1=0,a2=0,a3=0,...,an=0 กรณีเดียวที่ทำให้ linear combination นั้นเป็นจริง เราจะเรียก V ว่าเป็น linearly independent ถ้าไม่จะเรียกเป็น linearly dependent

ตัวอย่าง 1 กำหนด V = {[36],[48]} แสดงให้ดูว่า V เป็น linear independence หรือ linear dependence 

เราต้องหาค่า a1,a2 จากสมการ

(7)a1[36]+a2[48]=[00]

นั่นคือ

[3a16a1]+[4a28a2]=[00]3a1+4a2=06a1+8a2=0(8)a1=43a2

จาก (8) จะเห็นว่าค่าของ a1,a2 มีหลายค่าที่เป็นไปได้ เช่น (0,0), (43,1) ที่ทำให้ (7) เป็นจริง  จึงสรุปได้ว่า V มีลักษณะเป็น linearly dependent

ข้อสังเกตุ : เมื่อเอา vector ใน V (linear dependent) มาเขียนบนกราฟ จะเห็นว่าทั้งสองชี้ไปทางเดียวกัน ต่างกันที่ความยาว (ขนาด) เป็นการบอกว่า linear dependent vector มีข้อมูลที่ซ้ำซ้อนกันอยู่ (redundant information)


ตัวอย่าง 2 : กำหนด V = {[53],[12]} แสดงให้ดูว่า V เป็น linearly independence หรือ linearly dependence 

ใช้วิธีการเดียวกับตัวอย่างก่อน 

(9)a1[53]+a2[12]=[00]

[5a13a1]+[1a22a2]=[00]5a1+a2=03a1+2a2=0

 จะเห็นว่าค่าของ a1,a2 เป็นไปได้กรณีเดียวที่จะทำให้ (9) เป็นจริงคือ (0,0)  จึงสรุปได้ว่า V มีลักษณะเป็น linearly independent

ข้อสังเกตุ    vectors ใน V ซึ่งเป็น linearly independent  มีทิศทางไม่สอดคล้องกัน


[top]



Norm ของ vector [9]

"norm" หรือ "magnitude" ของ vector คือค่าของขนาดหรือความยาวของ vector ที่นับจากจุด origin ไปยังจุดปลายของ vector ในระบบ coordinate    

norm ของ vecu เขียนแทนด้วย ∣∣u∣∣  คุณสมบัติของ norm มีดังนี้

1. α,∣∣αv∣∣=∣α∣∣v∣∣

2. ∣∣v+vecu∣∣≤∣∣v∣∣+∣∣u∣∣

3. ∣∣v∣∣≥0

การคำนวณหาค่าของ norm

1. Euclidean norm  เป็นการ norm ที่ใช้บ่อย การคำนวณใช้หลักการของ Pythagorean equation [10] คือการวัดตามแนวเส้นทะแยงมุม เช่น  v=[34] 

v=32+42=25=5

รูปที่ 5

v2=[2234]v2=22+22+32+42=33

Euclidean norm บางครั้งจะเรียกว่า L2

2. Manhattan norm ได้มาจากวิธีการเดินทางใน Manhattan ซึ่งวางผังเมืองไว้เป็นแบบ grid ขนาดของ vector ที่วัดด้วยวิธีนี้คือผลรวมของ element ใน vector นั้น เช่น v=[34] norm จะมีค่า v=∣3+4∣=7 Manhattan norm บางครั้ง จะเรียกว่า L1

[top]


เอกสารอ้างอิง

[1] https://en.wikipedia.org/wiki/Vector_space

[2] https://en.wikipedia.org/wiki/Coordinate_system

[3] https://en.wikipedia.org/wiki/Abelian_group

[4] https://en.wikipedia.org/wiki/Group_(mathematics)

[5] https://en.wikipedia.org/wiki/Vector_space

[6] https://en.wikipedia.org/wiki/Linear_combination

[7] https://en.wikipedia.org/wiki/Linear_span

[8] https://en.wikipedia.org/wiki/Linear_independence

[9] https://en.wikipedia.org/wiki/Norm_(mathematics)

[10] https://en.wikipedia.org/wiki/Linear_independence#Definition

[11] https://en.wikipedia.org/wiki/Dot_product

[12] https://en.wikipedia.org/wiki/Inner_product_space

[13] https://en.wikipedia.org/wiki/Orthogonality

[14] https://en.wikipedia.org/wiki/Cosine_similarity

[15] https://en.wikipedia.org/wiki/Basis_(linear_algebra)








ความคิดเห็น