Basic Linear Algebra (ตอน 1)

Linear algebra คือคณิตศาสตร์สาขาหนึ่งว่าด้วยเรื่องของ continuous mathematics และนับเป็นพื้นฐานสำคัญในการทำความเข้าใจเรื่อง machine learning

Objects

1. Scalar 
หมายถึงตัวเลขโดดทั่วไป เช่น 1, -10, 0.005,$\pi$, ฯลฯ

2. Vector 
คือ array 1 มิติ ของ Scalar  จะเป็น row vector เช่น
$v=\left[\begin{array}{ccc}0.2& 1.0& \pi \end{array}\right]$ $v$ คือ row vector  และ $v_1=0.2,v_2=1.0,v_3=\pi$
 $u=\left[\begin{array}{c}0.2\\ 1.0\\ \pi \end{array}\right]$ $u$ คือ column vector และ $u_1=0.2,u_2=1.0,u_3=\pi$

3. Matrix
คือ array 2 มิติของ Scalar จึงมีได้สอง index โดย index แรกหมายถึงมิติหรือตำแหน่งของ row  index ที่สองหมายถึงตำแหน่งในมิติของ column เช่น
$M=\left[\begin{array}{cc}1& 2\\ 3& 4\\ 5& 6\end{array}\right]$ มีจำนวน rows = 3 และ column = 2 และ $M_{11}=1,M_{12}=2,M_{21}=3,M_{22}=4,M_{31}=5,M_{32}=6$

4. Tensor 
มีโครงสร้างแบบ Multi-dimension หรืออาจมองว่าเป็น general form ของทั้ง Vector และ Matrix ก็ได้ ยกตัวอย่าง

Tensor ที่มีมิติเดียว  Axis = 0 หรือ Column Vector 

Tensor ที่มีสองมิติ  Axis = 0,1 หรือ Matrix

Tensor สามมิติ Axis = 0,1,2

กฏการคำนวณ
 คูณ Matrix หรือ Vector กับ Scalar

$M=\left[\begin{array}{cc}1& 2\\ 3& 4\\ 5& 6\end{array}\right],a=10$
$M\ast a=\left[\begin{array}{cc}1\ast 10& 2\ast 10\\ 3\ast 10& 4\ast 10\\ 5\ast 10& 6\ast 10\end{array}\right]$
$M\ast a=\left[\begin{array}{cc}10& 20\\ 30& 40\\ 50& 60\end{array}\right]$

 การบวก Matrix
ถ้า  A, B เป็น matrix ที่มีขนาด m x n เหมือนกันแล้ว

A + B  = C

โดยที่  C มีขนาดเหมือน A และ B และ
$c_{ij}=a_{ij}+b_{ij}$
เมื่อ $c_{ij}$ เป็น element ของ C,$a_{ij}$ เป็น element ของ A,$b_{ij}$ เป็น element ของ B
 เช่น
 $A=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right],B=\left[\begin{array}{cc}5& 6\\ 7& 8\end{array}\right]$
$A+B=\left[\begin{array}{cc}1+5& 2+6\\ 3+7& 4+8\end{array}\right]=\left[\begin{array}{cc}6& 8\\ 10& 12\end{array}\right]$


การลบ Matrix
ถ้า  A, B เป็น matrix ที่มีขนาด m x n เท่ากันแล้ว และ C แทน A - B แล้ว จะได้

$c_{ij}=a_{ij}-b_{ij},\mathrm{\forall }i\in 1,2,3,..m,\mathrm{\forall }j\in 1,2,3,..n$ โดยที่ $a_{ij}\in A,b_{ij}\in B,c_{ij}\in C$

Matrix Product (การคูณ Matrix)
A เป็น matrix ขนาด m x n และ B เป็น matrix ขนาด p x q แล้ว A X B  (A product B) จะกระทำได้ก็ต่อเมื่อ n = p ผลลัพธ์ที่ได้คือ matrix C ที่มีขนาด m x q โดยที่

$c_{ij}=\sum _{k=1}^n{a}_{ik}\times b_{kj}$
$\mathrm{\forall }i\in \{1,2,3,..,m\},\mathrm{\forall }j\in \{1,2,3,..,q\}$

เช่น
$A=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right],B=\left[\begin{array}{cc}5& 6\\ 7& 8\end{array}\right]$ A x B หาได้จาก
$c_{11}=\left[\begin{array}{cc}1& 2\end{array}\right]\left[\begin{array}{c}5\\ 7\end{array}\right]=(5\times 1)+(2\times 7)=19$
$c_{21}=\left[\begin{array}{cc}3& 4\end{array}\right]\left[\begin{array}{c}5\\ 7\end{array}\right]=(5\times 3)+(4\times 7)=43$
$c_{12}=\left[\begin{array}{cc}1& 2\end{array}\right]\left[\begin{array}{c}6\\ 8\end{array}\right]=(1\times 6)+(2\times 8)=22$
$c_{22}=\left[\begin{array}{cc}3& 4\end{array}\right]\left[\begin{array}{c}6\\ 8\end{array}\right]=(3\times 6)+(4\times 8)=50$

จะได้ $C=\left[\begin{array}{cc}19& 22\\ 43& 50\end{array}\right]$


Dot product ของ 2 Vector

ถ้ากำหนดให้ $v\in R^{n\times 1},u\in R^{n\times 1}$ นั่นคือ
$v=\left[\begin{array}{c}{v}_1\\ v_2\\ v_3\\ .\\ .\\ .\\ v_n\end{array}\right]$ $u=\left[\begin{array}{c}{u}_1\\ u_2\\ u_3\\ .\\ .\\ .\\ u_n\end{array}\right]$

Dot product ระหว่าง v  กับ u คือ  $v\cdot u=\sum _{k=1}^n{v}_k{u}_k$ ผลลัพธ์ที่ได้คือ scalar value
เช่น
$v=\left[\begin{array}{c}1\\ 2\end{array}\right],u=\left[\begin{array}{c}3\\ 4\end{array}\right]$
$v\cdot u=(1\times 3)+(2\times 4)=3+8=11$


คูณ Matrix ด้วย Vector 
ถ้าให้ $A=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right]$ เราอาจพิจารณา A ประกอบด้วย column vector ดังนี้ $\left[\begin{array}{c}a\\ d\\ i\end{array}\right],\left[\begin{array}{c}b\\ e\\ h\end{array}\right],\left[\begin{array}{c}c\\ f\\ i\end{array}\right]$
และถ้านำเอา $v=\left[\begin{array}{c}{v}_1\\ v_2\\ v_3\end{array}\right]$ คูณกับ Matrix A แล้วจะได้
$Av=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right]\left[\begin{array}{c}{v}_1\\ v_2\\ v_3\end{array}\right]$
$Av=v_1\left[\begin{array}{c}a\\ d\\ g\end{array}\right]+v_2\left[\begin{array}{c}b\\ c\\ h\end{array}\right]+v_3\left[\begin{array}{c}c\\ f\\ i\end{array}\right]$
$Av=\left[\begin{array}{c}{v}_{1}a+v_{2}b+v_{3}c\\ v_{1}d+v_{2}e+v_{3}f\\ v_{1}g+v_{2}h+v_{3}i\end{array}\right]$

จะเห็นได้ว่าเมื่อนำ Matrix มาคูณกับ Vector
1. ผลลัพธ์คือ vector
2.  matrix ต้องมีจำนวน column vector เท่ากับจำนวน element ใน vector ตัวคูณ

เช่น
$\left[\begin{array}{ccccc}1& & 2& & 3\\ 4& & 5& & 6\end{array}\right]\times \left[\begin{array}{c}2\\ 2\\ 3\end{array}\right]=2\left[\begin{array}{c}1\\ 4\end{array}\right]+2\left[\begin{array}{c}2\\ 5\end{array}\right]+3\left[\begin{array}{c}3\\ 6\end{array}\right]$
$=\left[\begin{array}{c}2\\ 8\end{array}\right]+\left[\begin{array}{c}4\\ 10\end{array}\right]+\left[\begin{array}{c}9\\ 18\end{array}\right]$
$=\left[\begin{array}{c}2+4+9\\ 8+10+18\end{array}\right]$
$=\left[\begin{array}{c}15\\ 36\end{array}\right]$

Identity Matrix คือ Matrix ที่มีลักษณะเฉพาะตัวคือ
1. เป็น Square Matrix คือมีจำนวน row = column
2. ค่าของ element ในตำแหน่ง ij เมื่อ i =j  มีค่าเป็น 1  และมีค่าเป็น 0 เมื่อ $i\ne j$
 $I=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right],I=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right],...$

Inverse Matrix
จำนวนจริงทุกจำนวนยกเว้น 0 จะมี inverse ของตัวเอง Inverse ของตัวเลขใดคือตัวเลขที่คูณตัวเองแล้วได้ 1 ซึ่งเป็น identity ของจำนวนจริง ในระบบ Matrix ก็เช่นเดียวกัน Inverse ของ Matrix ใด ๆ คือ  Matrix ที่คูณตัวเองแล้วได้ Identity Matrix แต่ Identity Matrix ต้องเป็น Square Matrix ดังนั้นไม่ใช่ทุก Matrix จะมี Inverse Matrix
ถ้า M เป็น Matrix แล้ว Inverse ของ M เขียนแทนด้วย $M^{-1}$ และ $M\times M^{-1}=I$




Transpose Matrix
ถ้า  A เป็น matrix ขนาด m x n แล้ว transpose  ของ A เขียนแทนด้วย A^T เป็น matrix ที่มีขนาด  n x m  หรือมองว่าการ transpose คือการเปลี่ยน column vector ไปเป็น row vector ของ matrix A นั่นเอง

$a_{ji}^{\prime }=a_{ij},\mathrm{\forall }i\in \{1,2,3,..,m\}และ\mathrm{\forall }j\in \{1,2,3,..,n\}$

เมื่อ  $a_{ji}\in A^T$ และ $a_{ij}\in A$

เช่น
$A=\left[\begin{array}{cc}1& 2\\ 3& 4\\ 5& 6\end{array}\right],A^T=\left[\begin{array}{ccc}1& 3& 5\\ 2& 4& 6\end{array}\right]$
$A=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\end{array}\right],A^T=\left[\begin{array}{cc}1& 4\\ 2& 5\\ 3& 6\end{array}\right]$

คุณสมบัติที่ควรทราบ
1. Not Commutative  : 
ถ้า M และ N เป็น Matrix แล้ว $M\times N\ne N\times M$

2. Associative : 
ถ้า M , N  และ O เป็น Matrix แล้ว $(M\times N)\times O=M\times (N\times O)$

3. Distributive : 
ถ้า M , N  และ O เป็น Matrix แล้ว $(M+N)\times O=(M+O)\times (N+O)$

4. Identity :
ถ้า M เป็น Matrix และ I เป็น Identity Matrix แล้ว $M\times I=I\times M=M$