Linear algebra คือคณิตศาสตร์สาขาหนึ่งว่าด้วยเรื่องของ continuous mathematics และนับเป็นพื้นฐานสำคัญในการทำความเข้าใจเรื่อง machine learning
Objects
1. Scalar
หมายถึงตัวเลขโดดทั่วไป เช่น 1, -10, 0.005,\( \large \pi\), ฯลฯ
2. Vector
คือ array 1 มิติ ของ Scalar จะเป็น row vector เช่น
\(v = \large \begin{bmatrix}0.2 & 1.0 & \pi \end{bmatrix}\) \( v \) คือ row vector และ \( v_1 = 0.2, v_2 = 1.0 , v_3 = \pi \)
\( u = \begin{bmatrix}0.2 \\ 1.0 \\ \pi \end{bmatrix} \) \( u \) คือ column vector และ \( u_1 = 0.2, u_2 = 1.0 , u_3 = \pi \)
3. Matrix
คือ array 2 มิติของ Scalar จึงมีได้สอง index โดย index แรกหมายถึงมิติหรือตำแหน่งของ row index ที่สองหมายถึงตำแหน่งในมิติของ column เช่น
\( \large M = \begin{bmatrix}1 & 2 \\3 & 4 \\ 5 & 6 \end{bmatrix}\) มีจำนวน rows = 3 และ column = 2 และ \( M_{11} = 1,M_{12} =2,M_{21} = 3,M_{22} = 4,M_{31} = 5,M_{32} = 6 \)
4. Tensor
มีโครงสร้างแบบ Multi-dimension หรืออาจมองว่าเป็น general form ของทั้ง Vector และ Matrix ก็ได้ ยกตัวอย่าง
กฏการคำนวณ
คูณ Matrix หรือ Vector กับ Scalar
\( M = \begin{bmatrix}1 & 2 \\3 & 4 \\ 5 & 6 \end{bmatrix}, a = 10 \)
\( M *a = \begin{bmatrix}1 * 10 & 2 * 10 \\3 * 10 & 4 * 10 \\ 5 * 10 & 6 * 10 \end{bmatrix} \)
\( M *a = \begin{bmatrix}10 & 20 \\30 & 40 \\ 50 & 60 \end{bmatrix} \)
การบวก Matrix
ถ้า A, B เป็น matrix ที่มีขนาด m x n เหมือนกันแล้ว
A + B = C
โดยที่ C มีขนาดเหมือน A และ B และ
\( c_{ij} = a_{ij} + b_{ij} \)
เมื่อ \( c_{ij} \) เป็น element ของ C,\( a_{ij} \) เป็น element ของ A,\( b_{ij} \) เป็น element ของ B
เช่น
\( A = \begin{bmatrix}1 & 2 \\3 &4 \end{bmatrix}, B= \begin{bmatrix}5 & 6 \\7 &8 \end{bmatrix} \)
\( A+B = \begin{bmatrix}1 +5 & 2 +6 \\3+7 &4+8 \end{bmatrix} = \begin{bmatrix} 6 & 8\\10 &12 \end{bmatrix} \)
การลบ Matrix
ถ้า A, B เป็น matrix ที่มีขนาด m x n เท่ากันแล้ว และ C แทน A - B แล้ว จะได้
Matrix Product (การคูณ Matrix)
A เป็น matrix ขนาด m x n และ B เป็น matrix ขนาด p x q แล้ว A X B (A product B) จะกระทำได้ก็ต่อเมื่อ n = p ผลลัพธ์ที่ได้คือ matrix C ที่มีขนาด m x q โดยที่
เช่น
\( A = \begin{bmatrix}1 & 2 \\3 &4 \end{bmatrix}, B= \begin{bmatrix}5 & 6 \\7 &8 \end{bmatrix} \) A x B หาได้จาก
\( c_{11} = \begin{bmatrix}1 & 2 \end{bmatrix} \begin{bmatrix}5 \\7 \end{bmatrix} = (5 \times 1) + (2 \times 7) = 19 \)
\( c_{21} = \begin{bmatrix}3 & 4 \end{bmatrix} \begin{bmatrix}5 \\7 \end{bmatrix} = (5 \times 3) + (4 \times 7) = 43\)
\( c_{12} = \begin{bmatrix}1 & 2 \end{bmatrix} \begin{bmatrix}6 \\8 \end{bmatrix} = (1 \times 6) + (2 \times 8) = 22 \)
\( c_{22} = \begin{bmatrix}3 & 4 \end{bmatrix} \begin{bmatrix}6 \\8 \end{bmatrix} = (3 \times 6) + (4 \times 8) = 50 \)
จะได้ \( C = \begin{bmatrix}19&22\\43&50 \end{bmatrix} \)
Dot product ของ 2 Vector
ถ้ากำหนดให้ \( v \in R^{n \times 1}, u \in R^{n \times 1} \) นั่นคือ
\( v = \begin{bmatrix}v_1 \\ v_2\\ v_3 \\ .\\ .\\.\\v_n \end{bmatrix}\) \( u = \begin{bmatrix}u_1 \\ u_2\\ u_3 \\ .\\ .\\.\\u_n \end{bmatrix}\)
Dot product ระหว่าง v กับ u คือ \( v\cdot u = \sum_{k=1}^n v_ku_k \) ผลลัพธ์ที่ได้คือ scalar value
เช่น
\( v = \begin{bmatrix}1 \\2 \end{bmatrix}, u = \begin{bmatrix}3 \\4 \end{bmatrix}\)
\( v \cdot u = (1 \times 3) + (2 \times 4 ) = 3+8 = 11 \)
คูณ Matrix ด้วย Vector
ถ้าให้ \( A = \begin{bmatrix}a & b & c \\d & e & f \\g & h & i \end{bmatrix} \) เราอาจพิจารณา A ประกอบด้วย column vector ดังนี้ \( \begin{bmatrix}a \\d \\ i \end{bmatrix}, \begin{bmatrix}b \\e \\ h \end{bmatrix} ,\begin{bmatrix}c \\f \\ i \end{bmatrix}\)
และถ้านำเอา \(v = \begin{bmatrix}v_1 \\v_2 \\ v_3 \end{bmatrix} \) คูณกับ Matrix A แล้วจะได้
\( Av = \begin{bmatrix}a &b&c \\d&e&f \\g&h&i \end{bmatrix} \begin{bmatrix}v_1 \\v_2 \\ v_3 \end{bmatrix}\)
\( Av = v_1 \begin{bmatrix}a \\d \\g \end{bmatrix} + v_2 \begin{bmatrix}b \\c \\ h \end{bmatrix} +v_3 \begin{bmatrix}c \\f \\i \end{bmatrix}\)
\( Av = \begin{bmatrix}v_1a +v_2b+v_3c\\v_1d+v_2e+v_3f \\v_1g +v_2h+v_3i\end{bmatrix} \)
จะเห็นได้ว่าเมื่อนำ Matrix มาคูณกับ Vector
1. ผลลัพธ์คือ vector
2. matrix ต้องมีจำนวน column vector เท่ากับจำนวน element ใน vector ตัวคูณ
เช่น
\( \begin{bmatrix}1 && 2&&3\\ 4&&5&&6\end{bmatrix} \times \begin{bmatrix}2\\2\\3 \end{bmatrix} = 2\begin{bmatrix}1\\4\end{bmatrix} +2\begin{bmatrix}2\\5\end{bmatrix}+3\begin{bmatrix}3\\6\end{bmatrix}\)
\(=\begin{bmatrix}2\\8\end{bmatrix} +\begin{bmatrix}4\\10\end{bmatrix}+\begin{bmatrix}9\\18\end{bmatrix} \)
\(=\begin{bmatrix}2+4+9\\8+10+18\end{bmatrix} \)
\( =\begin{bmatrix}15\\36\end{bmatrix} \)
Inverse Matrix
จำนวนจริงทุกจำนวนยกเว้น 0 จะมี inverse ของตัวเอง Inverse ของตัวเลขใดคือตัวเลขที่คูณตัวเองแล้วได้ 1 ซึ่งเป็น identity ของจำนวนจริง ในระบบ Matrix ก็เช่นเดียวกัน Inverse ของ Matrix ใด ๆ คือ Matrix ที่คูณตัวเองแล้วได้ Identity Matrix แต่ Identity Matrix ต้องเป็น Square Matrix ดังนั้นไม่ใช่ทุก Matrix จะมี Inverse Matrix
ถ้า M เป็น Matrix แล้ว Inverse ของ M เขียนแทนด้วย \( M ^{-1}\) และ \( M \times M^{-1} = I \)
Transpose Matrix
ถ้า A เป็น matrix ขนาด m x n แล้ว transpose ของ A เขียนแทนด้วย AT เป็น matrix ที่มีขนาด n x m หรือมองว่าการ transpose คือการเปลี่ยน column vector ไปเป็น row vector ของ matrix A นั่นเอง
\( A = \begin{bmatrix}1 & 2 \\3 & 4 \\ 5&6 \end{bmatrix} , A^T =\begin{bmatrix}1 & 3 &5 \\2 & 4&6 \end{bmatrix}\)
\( A = \begin{bmatrix}1 & 2 &3 \\ 4&5&6 \end{bmatrix} , A^T =\begin{bmatrix}1 & 4 \\2 & 5 \\3&6 \end{bmatrix} \)
Objects
1. Scalar
หมายถึงตัวเลขโดดทั่วไป เช่น 1, -10, 0.005,\( \large \pi\), ฯลฯ
2. Vector
คือ array 1 มิติ ของ Scalar จะเป็น row vector เช่น
\(v = \large \begin{bmatrix}0.2 & 1.0 & \pi \end{bmatrix}\) \( v \) คือ row vector และ \( v_1 = 0.2, v_2 = 1.0 , v_3 = \pi \)
\( u = \begin{bmatrix}0.2 \\ 1.0 \\ \pi \end{bmatrix} \) \( u \) คือ column vector และ \( u_1 = 0.2, u_2 = 1.0 , u_3 = \pi \)
3. Matrix
คือ array 2 มิติของ Scalar จึงมีได้สอง index โดย index แรกหมายถึงมิติหรือตำแหน่งของ row index ที่สองหมายถึงตำแหน่งในมิติของ column เช่น
\( \large M = \begin{bmatrix}1 & 2 \\3 & 4 \\ 5 & 6 \end{bmatrix}\) มีจำนวน rows = 3 และ column = 2 และ \( M_{11} = 1,M_{12} =2,M_{21} = 3,M_{22} = 4,M_{31} = 5,M_{32} = 6 \)
4. Tensor
มีโครงสร้างแบบ Multi-dimension หรืออาจมองว่าเป็น general form ของทั้ง Vector และ Matrix ก็ได้ ยกตัวอย่าง
 |
| Tensor ที่มีมิติเดียว Axis = 0 หรือ Column Vector |
 |
| Tensor ที่มีสองมิติ Axis = 0,1 หรือ Matrix |
 |
| Tensor สามมิติ Axis = 0,1,2 |
กฏการคำนวณ
คูณ Matrix หรือ Vector กับ Scalar
\( M = \begin{bmatrix}1 & 2 \\3 & 4 \\ 5 & 6 \end{bmatrix}, a = 10 \)
\( M *a = \begin{bmatrix}1 * 10 & 2 * 10 \\3 * 10 & 4 * 10 \\ 5 * 10 & 6 * 10 \end{bmatrix} \)
\( M *a = \begin{bmatrix}10 & 20 \\30 & 40 \\ 50 & 60 \end{bmatrix} \)
การบวก Matrix
ถ้า A, B เป็น matrix ที่มีขนาด m x n เหมือนกันแล้ว
A + B = C
โดยที่ C มีขนาดเหมือน A และ B และ
\( c_{ij} = a_{ij} + b_{ij} \)
เมื่อ \( c_{ij} \) เป็น element ของ C,\( a_{ij} \) เป็น element ของ A,\( b_{ij} \) เป็น element ของ B
เช่น
\( A = \begin{bmatrix}1 & 2 \\3 &4 \end{bmatrix}, B= \begin{bmatrix}5 & 6 \\7 &8 \end{bmatrix} \)
\( A+B = \begin{bmatrix}1 +5 & 2 +6 \\3+7 &4+8 \end{bmatrix} = \begin{bmatrix} 6 & 8\\10 &12 \end{bmatrix} \)
การลบ Matrix
ถ้า A, B เป็น matrix ที่มีขนาด m x n เท่ากันแล้ว และ C แทน A - B แล้ว จะได้
\( c_{ij} = a_{ij}-b_{ij}, \forall i \in {1,2,3,..m},\forall j \in {1,2,3,..n} \) โดยที่ \( a_{ij} \in A, b_{ij} \in B, c_{ij} \in C \)
Matrix Product (การคูณ Matrix)
A เป็น matrix ขนาด m x n และ B เป็น matrix ขนาด p x q แล้ว A X B (A product B) จะกระทำได้ก็ต่อเมื่อ n = p ผลลัพธ์ที่ได้คือ matrix C ที่มีขนาด m x q โดยที่
\( c_{ij} = \sum_{k=1}^{n}a_{ik} \times b_{kj} \)
\(\forall i \in \left\{ 1,2,3,..,m \right\}, \forall j \in \left\{ 1,2,3,..,q \right\} \)
\(\forall i \in \left\{ 1,2,3,..,m \right\}, \forall j \in \left\{ 1,2,3,..,q \right\} \)
\( A = \begin{bmatrix}1 & 2 \\3 &4 \end{bmatrix}, B= \begin{bmatrix}5 & 6 \\7 &8 \end{bmatrix} \) A x B หาได้จาก
\( c_{11} = \begin{bmatrix}1 & 2 \end{bmatrix} \begin{bmatrix}5 \\7 \end{bmatrix} = (5 \times 1) + (2 \times 7) = 19 \)
\( c_{21} = \begin{bmatrix}3 & 4 \end{bmatrix} \begin{bmatrix}5 \\7 \end{bmatrix} = (5 \times 3) + (4 \times 7) = 43\)
\( c_{12} = \begin{bmatrix}1 & 2 \end{bmatrix} \begin{bmatrix}6 \\8 \end{bmatrix} = (1 \times 6) + (2 \times 8) = 22 \)
\( c_{22} = \begin{bmatrix}3 & 4 \end{bmatrix} \begin{bmatrix}6 \\8 \end{bmatrix} = (3 \times 6) + (4 \times 8) = 50 \)
จะได้ \( C = \begin{bmatrix}19&22\\43&50 \end{bmatrix} \)
Dot product ของ 2 Vector
ถ้ากำหนดให้ \( v \in R^{n \times 1}, u \in R^{n \times 1} \) นั่นคือ
\( v = \begin{bmatrix}v_1 \\ v_2\\ v_3 \\ .\\ .\\.\\v_n \end{bmatrix}\) \( u = \begin{bmatrix}u_1 \\ u_2\\ u_3 \\ .\\ .\\.\\u_n \end{bmatrix}\)
Dot product ระหว่าง v กับ u คือ \( v\cdot u = \sum_{k=1}^n v_ku_k \) ผลลัพธ์ที่ได้คือ scalar value
เช่น
\( v = \begin{bmatrix}1 \\2 \end{bmatrix}, u = \begin{bmatrix}3 \\4 \end{bmatrix}\)
\( v \cdot u = (1 \times 3) + (2 \times 4 ) = 3+8 = 11 \)
คูณ Matrix ด้วย Vector
ถ้าให้ \( A = \begin{bmatrix}a & b & c \\d & e & f \\g & h & i \end{bmatrix} \) เราอาจพิจารณา A ประกอบด้วย column vector ดังนี้ \( \begin{bmatrix}a \\d \\ i \end{bmatrix}, \begin{bmatrix}b \\e \\ h \end{bmatrix} ,\begin{bmatrix}c \\f \\ i \end{bmatrix}\)
และถ้านำเอา \(v = \begin{bmatrix}v_1 \\v_2 \\ v_3 \end{bmatrix} \) คูณกับ Matrix A แล้วจะได้
\( Av = \begin{bmatrix}a &b&c \\d&e&f \\g&h&i \end{bmatrix} \begin{bmatrix}v_1 \\v_2 \\ v_3 \end{bmatrix}\)
\( Av = v_1 \begin{bmatrix}a \\d \\g \end{bmatrix} + v_2 \begin{bmatrix}b \\c \\ h \end{bmatrix} +v_3 \begin{bmatrix}c \\f \\i \end{bmatrix}\)
\( Av = \begin{bmatrix}v_1a +v_2b+v_3c\\v_1d+v_2e+v_3f \\v_1g +v_2h+v_3i\end{bmatrix} \)
จะเห็นได้ว่าเมื่อนำ Matrix มาคูณกับ Vector
1. ผลลัพธ์คือ vector
2. matrix ต้องมีจำนวน column vector เท่ากับจำนวน element ใน vector ตัวคูณ
เช่น
\( \begin{bmatrix}1 && 2&&3\\ 4&&5&&6\end{bmatrix} \times \begin{bmatrix}2\\2\\3 \end{bmatrix} = 2\begin{bmatrix}1\\4\end{bmatrix} +2\begin{bmatrix}2\\5\end{bmatrix}+3\begin{bmatrix}3\\6\end{bmatrix}\)
\(=\begin{bmatrix}2\\8\end{bmatrix} +\begin{bmatrix}4\\10\end{bmatrix}+\begin{bmatrix}9\\18\end{bmatrix} \)
\(=\begin{bmatrix}2+4+9\\8+10+18\end{bmatrix} \)
\( =\begin{bmatrix}15\\36\end{bmatrix} \)
Identity Matrix คือ Matrix ที่มีลักษณะเฉพาะตัวคือ
1. เป็น Square Matrix คือมีจำนวน row = column
2. ค่าของ element ในตำแหน่ง ij เมื่อ i =j มีค่าเป็น 1 และมีค่าเป็น 0 เมื่อ \( i \neq j \)
\( I = \begin{bmatrix}1 & 0 \\0 & 1 \end{bmatrix},I = \begin{bmatrix}1 & 0 & 0 \\0 & 1 & 0 \\ 0 & 0 &1\end{bmatrix},...\)
1. เป็น Square Matrix คือมีจำนวน row = column
2. ค่าของ element ในตำแหน่ง ij เมื่อ i =j มีค่าเป็น 1 และมีค่าเป็น 0 เมื่อ \( i \neq j \)
\( I = \begin{bmatrix}1 & 0 \\0 & 1 \end{bmatrix},I = \begin{bmatrix}1 & 0 & 0 \\0 & 1 & 0 \\ 0 & 0 &1\end{bmatrix},...\)
Inverse Matrix
จำนวนจริงทุกจำนวนยกเว้น 0 จะมี inverse ของตัวเอง Inverse ของตัวเลขใดคือตัวเลขที่คูณตัวเองแล้วได้ 1 ซึ่งเป็น identity ของจำนวนจริง ในระบบ Matrix ก็เช่นเดียวกัน Inverse ของ Matrix ใด ๆ คือ Matrix ที่คูณตัวเองแล้วได้ Identity Matrix แต่ Identity Matrix ต้องเป็น Square Matrix ดังนั้นไม่ใช่ทุก Matrix จะมี Inverse Matrix
ถ้า M เป็น Matrix แล้ว Inverse ของ M เขียนแทนด้วย \( M ^{-1}\) และ \( M \times M^{-1} = I \)
Transpose Matrix
ถ้า A เป็น matrix ขนาด m x n แล้ว transpose ของ A เขียนแทนด้วย AT เป็น matrix ที่มีขนาด n x m หรือมองว่าการ transpose คือการเปลี่ยน column vector ไปเป็น row vector ของ matrix A นั่นเอง
\( a^{\prime}_{ji} = a_{ij}, \forall i \in \left\{1,2,3,..,m \right\} และ \forall j \in \left\{1,2,3,..,n \right\}\)
เมื่อ \( a_{ji} \in A^T \) และ \( a_{ij} \in A \)
เช่น\( A = \begin{bmatrix}1 & 2 \\3 & 4 \\ 5&6 \end{bmatrix} , A^T =\begin{bmatrix}1 & 3 &5 \\2 & 4&6 \end{bmatrix}\)
\( A = \begin{bmatrix}1 & 2 &3 \\ 4&5&6 \end{bmatrix} , A^T =\begin{bmatrix}1 & 4 \\2 & 5 \\3&6 \end{bmatrix} \)
คุณสมบัติที่ควรทราบ
1. Not Commutative :
ถ้า M และ N เป็น Matrix แล้ว \( M \times N \neq N \times M \)
2. Associative :
ถ้า M , N และ O เป็น Matrix แล้ว \( (M \times N) \times O = M \times (N \times O) \)
3. Distributive :
ถ้า M , N และ O เป็น Matrix แล้ว \( (M + N) \times O = (M + O) \times (N + O) \)
4. Identity :
ถ้า M เป็น Matrix และ I เป็น Identity Matrix แล้ว \( M \times I = I \times M = M \)
1. Not Commutative :
ถ้า M และ N เป็น Matrix แล้ว \( M \times N \neq N \times M \)
2. Associative :
ถ้า M , N และ O เป็น Matrix แล้ว \( (M \times N) \times O = M \times (N \times O) \)
3. Distributive :
ถ้า M , N และ O เป็น Matrix แล้ว \( (M + N) \times O = (M + O) \times (N + O) \)
4. Identity :
ถ้า M เป็น Matrix และ I เป็น Identity Matrix แล้ว \( M \times I = I \times M = M \)
ความคิดเห็น
แสดงความคิดเห็น