Basic Linear Algebra : Eigen Decomposition of matrix

เนื้อหาในตอนนี้เป็นส่วนที่ต่อเนื่องจากเรื่อง การคำนวณหา eigen value และ eigen  vector [4] โดยจะกล่าวต่อในเรื่องการนำเอา eigen vector มา decompose เมตริกซ์

ถ้า $X\in {\mathrm{\Re }}^{n\times n}$ โดย $E_1,E_2,...,E_n$ คือ eigen vectors ที่เป็น linearly independent ต่อกัน และมี ${\lambda }_1,{\lambda }_2,...,{\lambda }_n$ เป็น eigen values ที่ขึ้นกับ (associate) $E_1,E_2,...,E_n$ ตามลำดับ เราจะสามารถสร้าง matrix P โดย column vector คือ $E_1,E_2,...,E_n$ ได้ $$P=\left[\begin{array}{cccc}|& |& |& |\\ E_1& E_2& \cdots & E_n\\ |& |& |& |\end{array}\right]$$

P จะหา inverse ได้เสมอ สร้าง matrix D โดยที่ $$\begin{array}{}\text{(1)}& D=P^{-1}XP\end{array}$$ จะพบว่า D มีคุณสมบัติเป็น diagonal matrix ที่มี non-zero element คือ ${\lambda }_1,{\lambda }_2,...,{\lambda }_n$ (ดูตัวอย่าง python code) $$D=\left[\begin{array}{cccc}{\lambda }_1& 0& 0& \cdots \\ 0& {\lambda }_2& 0& \cdots \\ 0& 0& {\lambda }_3& \cdots \\ ⋮& ⋮& ⋮& {\lambda }_n\end{array}\right]$$

จาก (1) ถ้านำเอา$P$ และ $P^{-1}$ multiply เข้าไปทางซ้ายและขวาตามลำดับจะได้ $$\begin{array}{rl}PD{P}^{-1}& =P(P^{-1}XP)P^{-1}\\ \text{(2)}& PD{P}^{-1}& =X\end{array}$$ พิจารณาสมการ (2) จะเห็นว่าคือการ decompose X ออกเป็น 3 matrix คือ $P,D,P^{-1}$ ซึ่งเป็นผลต่อเนื่องจากการหา eigen value และ eigen vector ของ X

ยกตัวอย่าง ถ้า $A=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right]$

จะได้ eigen vector ของ A คือ $\left[\begin{array}{c}-0.825\\ 0.566\end{array}\right],\left[\begin{array}{c}-0.416\\ -0.909\end{array}\right]$

และ eigen value ของ A คือ -0.372, 5.372

นั่นคือ $$\begin{array}{rl}P& =\left[\begin{array}{cc}-0.825& -0.416\\ 0.566& -0.909\end{array}\right]\\ \\ P^{-1}& =\left[\begin{array}{cc}-0.923& 0.422\\ -0.574& -0.837\end{array}\right]\\ \\ D& =\left[\begin{array}{cc}-0.372& 0\\ 0& 5.372\end{array}\right]\\ \end{array}$$ ทดสอบดูว่า $PD{P}^{-1}=Xเป็นจริง$ $$\left[\begin{array}{cc}-0.825& -0.416\\ 0.566& -0.909\end{array}\right]\cdot \left[\begin{array}{cc}-0.372& 0\\ 0& 5.372\end{array}\right]\cdot \left[\begin{array}{cc}-0.923& 0.422\\ -0.574& -0.837\end{array}\right]=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right]$$

การหา power of matrix ด้วย eigen decomposition

จาก (2)

$$\begin{array}{rl}X& =PD{P}^{-1}\\ X\cdot X& =(PD{P}^{-1})\cdot (PD{P}^{-1})\\ X^2& =P{D}^2{P}^{-1}\\ \\ \\ X^3& =X^{2}X\\ X^3& =(P{D}^2{P}^{-1})(PD{P}^{-1})\\ X^3& =P{D}^3{P}^{-1}\\ ⋮\end{array}$$ สรุปได้ว่า $$\begin{array}{}\text{(6)}& X^k=P{D}^k{P}^{-1},n\ge 0\end{array}$$

เอกสารอ้างอิง

[1] https://en.wikipedia.org/wiki/Eigendecomposition_of_a_matrix

[2] https://en.wikipedia.org/wiki/Diagonalizable_matrix

[3] https://en.wikipedia.org/wiki/Eigendecomposition_of_a_matrix#Functional_calculus

[4] https://smarter-machine.blogspot.com/2021/03/basic-linear-algebra-eigenvector.html