Basic Linear Algebra : Eigen Decomposition of matrix

เนื้อหาในตอนนี้เป็นส่วนที่ต่อเนื่องจากเรื่อง การคำนวณหา eigen value และ eigen  vector [4] โดยจะกล่าวต่อในเรื่องการนำเอา eigen vector มา decompose เมตริกซ์

ถ้า \(X \in \Re^{n \times n} \) โดย \(E_1,E_2,...,E_n \) คือ eigen vectors ที่เป็น linearly independent ต่อกัน และมี \( \lambda_1,\lambda_2,...,\lambda_n \) เป็น eigen values ที่ขึ้นกับ (associate) \(E_1,E_2,...,E_n \) ตามลำดับ เราจะสามารถสร้าง matrix P โดย column vector คือ \(E_1,E_2,...,E_n \) ได้ \[ P = \begin{bmatrix} |\ & |\ & |\ & |\ \\ E_1 & E_2 & \cdots & E_n\\ |\ & |\ & |\ & |\ \end{bmatrix} \]

P จะหา inverse ได้เสมอ สร้าง matrix D โดยที่ \[ D = P^{-1}XP \tag{1} \] จะพบว่า D มีคุณสมบัติเป็น diagonal matrix ที่มี non-zero element คือ \( \lambda_1,\lambda_2,...,\lambda_n \) (ดูตัวอย่าง python code) \[ D = \begin{bmatrix} \lambda_1 & 0 & 0 & \cdots \\ 0 & \lambda_2 & 0 & \cdots \\ 0 & 0 & \lambda_3 & \cdots \\ \vdots & \vdots & \vdots & \lambda_n \\ \end{bmatrix} \]



จาก (1) ถ้านำเอา\( P \) และ \(P^{-1} \) multiply เข้าไปทางซ้ายและขวาตามลำดับจะได้ \[ \begin{align*} PDP^{-1} &= P(P^{-1}XP)P^{-1} \\ PDP^{-1} &= X \tag{2} \end{align*} \] พิจารณาสมการ (2) จะเห็นว่าคือการ decompose X ออกเป็น 3 matrix คือ \(P,D,P^{-1}\) ซึ่งเป็นผลต่อเนื่องจากการหา eigen value และ eigen vector ของ X

ยกตัวอย่าง ถ้า \( A =\begin{bmatrix} 1&2\\3&4 \end{bmatrix} \)

จะได้ eigen vector ของ A คือ \( \begin{bmatrix}-0.825 \\ 0.566 \end{bmatrix} , \begin{bmatrix} -0.416 \\ -0.909 \end{bmatrix}\)

และ eigen value ของ A คือ -0.372, 5.372

นั่นคือ \[ \begin{align*} P &= \begin{bmatrix}-0.825 & -0.416 \\ 0.566 & -0.909 \end{bmatrix} \\\\ P^{-1} &= \begin{bmatrix} -0.923 & 0.422\\-0.574& -0.837 \end{bmatrix} \\\\ D &= \begin{bmatrix}-0.372&0 \\ 0 & 5.372 \end{bmatrix} \\\\ \end{align*} \] ทดสอบดูว่า \( P D P^{-1} = X เป็นจริง \) \[ \begin{bmatrix}-0.825 & -0.416 \\ 0.566 & -0.909 \end{bmatrix} \cdot \begin{bmatrix}-0.372&0 \\ 0 & 5.372 \end{bmatrix} \cdot \begin{bmatrix} -0.923 & 0.422\\-0.574& -0.837 \end{bmatrix} = \begin{bmatrix} 1&2\\3&4 \end{bmatrix} \]


การหา power of matrix ด้วย eigen decomposition

จาก (2)

\[ \begin{align*} X &= P D P^{-1} \\ X \cdot X &= (P D P^{-1} ) \cdot (P D P^{-1}) \\ X^2 &= P D^2 P^{-1}\\\\\\ X^3 &= X^2X \\ X^3 &= (P D^2 P^{-1})(P D P^{-1}) \\ X^3 &= P D^3 P^{-1} \\ \vdots \end{align*} \] สรุปได้ว่า \[ X^k = P D^k P^{-1} ,n \geq 0 \tag{6} \]

ความคิดเห็น