Basic Linear Algebra: Eigenvector และ Eigenvalue

มีการเขียนถึงความหมายของ eigenvector และ eigenvalue หลายแบบ แต่ในข้อเขียนนี้ขอเริ่มด้วยสมการเชิงเส้น

\[ A \cdot \vec{v} = \lambda \vec{v} \tag{1} \]

เมื่อ \( \vec{v} \in \Re^n \) และ \( \vec{v} \neq \vec{0} \) , \( A \in \Re^{n \times n}\) และ \( \lambda \) คือ scalar เรียก \( \vec{v} \) ว่า "eigenvector" และเรียก \( \lambda \) ว่า "eigenvalue"

พิจารณาโครงสร้างของสมการ (1) จะเห็นว่า A คือ linear transformation matrix ของ \( \vec{v} \) ผลคือการเปลี่ยนขนาด (scaling) แต่ไม่เปลี่ยนทิศทาง

 รูปที่ 1 

การคำนวณ

จาก (1) เขียนใหม่ได้เป็น \[ \begin{align*} A \cdot \vec{v} - \lambda \vec{v} &= \vec{0} \\\\ (A - \lambda I)\vec{v}&= \vec{0} \tag{2}\\\\ \end{align*} \] หมายเหตุ ต้องนำ \( I \) มาคูณกับ \( \lambda \) เพื่อให้ scalar เปลี่ยนรูปเป็น matrix

พิจารณาสมการ (2) ร่วมกับ (3) รวมกับเงื่อนไข \( \vec{v} \neq \vec{0} \) จึงสรุปได้ว่า \( A-\lambda I \) (ซึ่งเป็น matrix) จะต้องเป็น zero matrix เท่านั้น

\[ A-\lambda I = 0 \tag{3}\]

และ \( A-\lambda I \) ต้องเป็น singular matrix หรือเป็น matrix ที่มี determinant เป็น 0 ด้วยเหตุผลที่ว่า sigular matrix ไม่มี inverse และถ้าหาก \( A-\lambda I \)  สามารถหา inverse ได้ ( หรือไม่ใช่ singular matrix ) ย่อมจะทำให้สมการนี้เป็นจริงได้

\[ \begin{align*} (A-\lambda I )\cdot \vec{v} &= \vec{0} \\\\ (A-\lambda I )^{-1}\cdot (A-\lambda I ) \cdot \vec{v} &= (A-\lambda I )^{-1} \cdot \vec{0} \\\\ I \vec{v} &= \vec{0} \\\\ \vec{v} &= \vec{0} \end{align*} \] ซึ่งจะขัดกับข้อแม้ที่วางไว้ จึงนำไปสู่ข้อสรุปว่าสมการที่ (2) เป็นจริงก็ต่อเมื่อ \[det(A-\lambda I ) = 0 = \rho(\lambda)\tag{4} \]

หมายเหตุ \(\rho(\lambda) = det(A-\lambda I ) \) เรียกว่า "characteristic equation" [4]

เพื่อจะหาค่าของ \( \lambda \) และ \( \vec{v} \) ง่ายขึ้น A จะต้องถูกกำหนดขึ้นก่อน เช่น \(\begin{bmatrix} 2 & 3 \\ 2 & 1 \end{bmatrix} \) จะได้ว่า

\[ \begin{align*} (A - \lambda I)\vec{v} &= \begin{bmatrix} 2 & 3 \\ 2 & 1 \end{bmatrix} - \lambda \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} \\\\ &= \begin{bmatrix} 2 & 3 \\ 2 & 1 \end{bmatrix} - \begin{bmatrix} \lambda & 0 \\ 0 & \lambda \end{bmatrix} \\\\ &=\begin{bmatrix} 2 - \lambda& 2 \\ 3 & 1-\lambda \end{bmatrix} \\\\ \end{align*} \] หา determinant ของ \(\begin{bmatrix} 2 - \lambda& 3 \\ 2 & 1-\lambda \end{bmatrix} \) \[ \begin{align*} det \left(\begin{bmatrix} 2 - \lambda& 2 \\ 2 & 1-\lambda \end{bmatrix} \right) &= (2-\lambda) \times (1-\lambda) - (2 \times 3)\\\\ &= 2 - 2\lambda - \lambda + \lambda^2 - 6 \\\\ &= \lambda^2 -3\lambda -4 \\\\ \end{align*} \] กำหนดให้ \[ \begin{align*} \lambda^2 -3\lambda -4 &= 0 \\\\ \lambda &= \frac{3 \pm \sqrt{-3^2 - 4 }}{2}\\\ \therefore \lambda &= -1,4 \end{align*} \]

นำ \( \lambda \) ที่ได้มา 2 ค่า ไปแทนที่ในสมการ (1) เพื่อหา \( \vec{v}\)

เมื่อ \( \lambda = -1 \) : \[ \begin{align*} \begin{bmatrix} 2 & 3 \\ 2 & 1 \end{bmatrix} \cdot \begin{bmatrix} v_1\\ v_2 \end{bmatrix} &= -1 \begin{bmatrix} v_1\\ v_2 \end{bmatrix} \\\\ 2v_1 + 3v_2 &= -v_1 \\ 2v_1 + v_2 &= -v_2 \\ 3v_1 &= -3v_2 \\ 2v_1 &= -2v_2 \\\\ \therefore v_1 = -v_2 \end{align*} \]

เมื่อ \( \lambda = 4 \) : \[ \begin{align*} \begin{bmatrix} 2 & 3 \\ 2 & 1 \end{bmatrix} \cdot \begin{bmatrix} v_1\\ v_2 \end{bmatrix} &= 4 \begin{bmatrix} v_1\\ v_2 \end{bmatrix} \\\\ 2v_1 + 3v_2 &= 4v_1 \\ 2v_1 + v_2 &= 4v_2 \\ -2v_1 &= -3v_2 \\ 2v_1 &= 3v_2 \\\\ \therefore v_1 = \frac{3}{2}v_2 \end{align*} \]


เมื่อ \( \lambda = -1 \) แล้ว \(\frac{\vec{v_1}}{\vec{v_2}} = -1 \) Eigen vectors ที่ได้อาจเป็น \( \begin{bmatrix} 1\\-1 \end{bmatrix},\begin{bmatrix} -10\\10 \end{bmatrix},.... \) ซึ่งมีได้มากมาย แต่เมื่อทำให้อยู่ในรูป unit vector แล้วจะเป็น \( \begin{bmatrix}\frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}} \end{bmatrix} \)

ทำนองเดียวกับ \( \lambda = 4 \) แล้ว \(\frac{\vec{v_1}}{\vec{v_2}} = \frac{3}{2} \) Eigen vectors ที่ได้อาจเป็น \( \begin{bmatrix} 3\\2 \end{bmatrix},\begin{bmatrix} -6\\-4 \end{bmatrix},.... \) แต่เมื่อทำให้อยู่ในรูป unit vector แล้วจะเป็น \( \begin{bmatrix}\frac{3}{\sqrt{13}} \\ \frac{2}{\sqrt{13}} \end{bmatrix} \)

สรุปได้คู่อันดับของ eigen value, eigen vector ของ \( \begin{bmatrix} 2&3\\2&1\end{bmatrix} \) คือ \( (-1,\begin{bmatrix} \frac{1}{\sqrt{2}}\\-\frac{1}{\sqrt{2}}\end{bmatrix}) \) และ \( (4,\begin{bmatrix} \frac{3}{\sqrt{3}}\\\frac{2}{\sqrt{3}}\end{bmatrix}) \) เมื่อนำเอา eigen vector มาแสดงในรูปของ graph ก็จะเห็นได้ชัดว่าทั้งสองมีคุณสมบัติ linearly independent ต่อกัน

รูปที่ 2 Eigen vectors ที่คำนวณได้จะมีคุณสมบัติ linearly independent ต่อกัน


Eigen value และ Eigen vector บอกอะไร ?

ถ้ามี set ของ \( \vec{v} \in \Re^2 \) จำนวนหนึ่ง เช่น \( \begin{bmatrix}0.59\\0.88\end{bmatrix}, \begin{bmatrix}0.81\\-0.47\end{bmatrix}, \begin{bmatrix}-0.95\\-0.33\end{bmatrix}, \begin{bmatrix}0.33\\0.95\end{bmatrix},...\) และมี \(A = \begin{bmatrix} 1&2\\4&1\end{bmatrix}\)
กลับไปพิจารณาสมการ (1) จะหา eigen value และ eigen vector ของ A ได้ ต้องมีการทำ linear transformation (\(A\vec{v_i} \))ให้กับ vector ที่มีอยู่ทั้งหมด แล้วดูว่า vector ผลลัพธ์ที่ไม่เปลี่ยนทิศทางก็คือ eigen vector ลองนำผลทั้งหมดมาวาดเป็น vector diagram ได้ตามรูปที่ 3

รูปที่ 3


จากรูปที่ 3 ลูกศรสีแดงแทน \( \vec{v_1},\vec{v_2},\vec{v_3},...,\vec{v_n}\) ลูกศรสีเหลืองแทน \( A\vec{v_1},A\vec{v_2},A\vec{v_3},...,A\vec{v_n}\) จะเห็นว่าลูกศรสีเหลืองส่วนใหญ่มีการเปลี่ยนขนาดและทิศทางไปจากลูกศรสีแดง แต่มีสอง vector ที่ไม่เปลี่ยนทิศทาง นั่นคือ eigen vector ของ A แทนด้วยสีน้ำเงิน

เมื่อทำการคำนวณได้คู่อันดับของ eigen value กับ eigen vector ของ A ดังนี้ \[ (3.828,\begin{bmatrix}0.577\\0.816\end{bmatrix}),(-1.828,\begin{bmatrix}-0.577\\0.816\end{bmatrix}) \] เอา eigen value คูณกับ eigen vector ที่เป็นคู่กัน จะได้ vector ที่มีขนาดและทิศทางต่างกัน eigen vector ที่มีขนาดมากกว่ามีทิศทางเดียวกับเดียวกับกลุ่ม vector อื่นที่มีขนาดยาว eigen vector ที่เหลือชี้ไปทางเดียกับ vector อื่นที่มีขนาดสั้นกว่า สรุปได้ว่า eigen vector บอกทิศทางของ variance ในข้อมูล และค่าของ eigen value บอกถึงขนาดของ variance

สังเกตุว่าปลายของลูกศรสีเหลืองเรียงตัวกันเป็นรูปวงรี (ellipse) (ข้อมูลตัวอย่างเป็น 2 มิติ) โดย eigen vector ที่คู่กับ eigen value ที่มีค่ามากที่สุดชี้ไปในแนวเดียวกับ major axis ของรูปวงรี และ eigen vector ที่สอง (eigen value น้อย) อยู่ในแนวเดียวกับ minor axis ในกรณีนี้เราอาจกล่าวได้ว่า eigen vector แสดงคุณสมบัติเป็นส่วนหนึ่งของ basis ของ vector space ที่เป็นผลจาก linear transform ด้วย A ประโยชน์ในข้อนี้จะกล่าวถึงต่อไปในเรื่อง eigen decomposition

รูปที่ 4




ความคิดเห็น