Statistics : Expectation , Variance , Covariance, Correlation

Expectation 

ค่า expectation ของ random variable ใด คือ arithmetic mean ของ random variable นั้น เขียนแทนด้วย E(X) หรือ ${\mu }_x$ ถูกนิยามดังนี้

Discrete :

$$\begin{array}{}\text{(1)}& E(X)=\sum _{i=1}^n{f}_X(x_i)x_i={\mu }_x\end{array}$$

Continuous :

$$\begin{array}{}\text{(2)}& E(X)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}x{f}_X(x)dx={\mu }_x\end{array}$$

Expectation rules

• $E[g(X)]=\sum (g(x)f_X(x))$
• $E[a]=a$, a คือค่าคงที่
• $E[aX]=aE(X)$, a คือค่าคงที่
• $E[a\pm X]=a\pm E(X)$, a คือค่าคงที่
• $E[a\pm bX]=a\pm bE(X)$, a,b คือค่าคงที่
• $E[X+Y]=E(X)+E[Y]$, X,Y คือ random variables
• $E[XY]=E(X)E[Y]$, X,Y คือ independent random variables

เมื่อ $f_X(x)$ คือ Probability density function ของ X

---

Variance 

ใช้บอกระดับการกระจายตัวของข้อมูล (spread out) โดยวัดจากความห่างของ data point กับค่ากลาง (expectation,  $\mu$) ถ้าค่าของ variance สูงตีความได้ว่าข้อมูลจะกระจายตัวออกจากค่า mean หากมีค่าน้อยแสดงว่าข้อมูลส่วนใหญ่มีการกระจุกอยู่รอบๆ ค่อ mean เขียนแทนด้วย V(X) หรือ ${\sigma }_x^2$

นิยามโดย ถ้า X เป็น random variable แล้ว

$$\begin{array}{rl}V(X)& =E[(X-\mu {)}^2]\\ & =E[X^2-2X\mu +{\mu }^2]\\ & =E[X^2]-E[2X\mu ]+E[{\mu }^2]\\ & =E[X^2]-2\mu E[X]+{\mu }^2\\ & =E[X^2]-2{\mu }^2+{\mu }^2\\ \\ \text{(3)}& V(X)& =E[X^2]-{\mu }^2\end{array}$$

Variance rule

• $V(a)=0$ , a คือค่าคงที่
• $V(a\pm X)=V(X)$ , a คือค่าคงที่
• $V(a\pm bX)=b^{2}V(X)$, a,b คือค่าคงที่
• $V(X\pm Y)=V(X)+V(Y)$ , X,Y คือ independent random variables
• $V(X\pm Y)=V(X)+V(Y)\pm 2COV(X,Y)$ , (COV(X,Y) จะกล่าวถึงภายหลัง)

---

Covariance

ใช้บอกทิศทางความสัมพันธ์ระหว่าง random variable 2 ตัว (X,Y) ค่าของ covariance มีได้ทั้งบวกและลบ ค่าที่เป็นบวกแสดงว่า random variable มีความสัมพันธ์ในทิศทาง ทางเดียวกัน ถ้าเป็นลบก็จะตรงกันข้าม หากเป็น 0 หมายความว่าไม่มีความสัมพันธ์ต่อกัน

นิยามโดย ถ้าให้ X,Y เป็น random variables $$\begin{array}{}\text{(4.1)}& Cov(X,Y)=E(XY)-E(X)E(Y)\end{array}$$ หรือกรณี discrete $$\begin{array}{}\text{(4.2)}& Cov(X,Y)=\frac{1}{n-1}\sum _{i=1}^n(x_i-\overline{x})(y_i-\overline{y})\end{array}$$

---

Correlation

ใช้บอกความสัมพันธ์เชิงเส้น (linear association) ระหว่าง random variable 2 ตัว (X,Y) อาจเรียก correlation coefficient ก็ได้ ค่าของ correlation จะมีค่าระหว่าง [-1,1]

นิยามโดย ถ้าให้ X,Y เป็น random variables $$\begin{array}{}\text{(5)}& Corr(X,Y)=\frac{Cov(X,Y)}{\sqrt{V(X)V(Y)}}\end{array}$$

การตีความค่าของ Corr(X,Y) จะคล้ายกับ Cov(X,Y) ที่ต่างคือถ้า Corr มีค่าเข้าใกล้ 1 หรือ -1 หมายถึงความสัมพันธ์เชิงเส้นตรงระหว่าง X,Y จะมากขึ้นเท่านั้น ($Corr(X,Y)=\pm 1⟹Y=aX+b$)

---

ตัวอย่าง : ให้ X เป็น continuous random variable ที่มี p.d.f ดังนี้

$$f_X(x)=\{\begin{array}{ll}2x^{-2}& \text{if }1\le x\le 2\\ 0& \text{otherwise }\end{array}$$ จงหา $E(X)$ และ \( V(X) \

เนื่องจาก p.d.f ของ x ช่วงอื่นมีค่าเป็น 0 นอกจาก [1,2] ดังนั้น $$\begin{array}{rl}E(X)& ={\int }_1^{2}x{f}_X(x)dx\\ \\ E(X)& ={\int }_1^{2}x2x^{-2}dx\\ \\ E(X)& =2{\int }_1^2{x}^{-1}dx\\ \\ E(X)& =2|ln(x)|{|}_1^2\\ \\ E(X)& =2|ln(2)|-2|ln(1)|\\ \\ E(X)& =2|ln(2)|\\ \end{array}$$

จาก $$V(X)=E[X^2]-{\mu }^2$$

หา $E(X^2)$ : $$\begin{array}{rl}E(X^2)& ={\int }_1^2{x}^2{f}_X(x)dx\\ \\ E(X^2)& ={\int }_1^2{x}^{2}2x^{-2}dx\\ \\ E(X^2)& ={\int }_1^{2}2dx\\ \\ E(X^2)& =2{|}_1^2\\ \\ E(X^2)& =2\end{array}$$ ดังนั้น $$V(X)=2-2|ln(2)|$$

---

ดูตัวอย่างข้อมูลความสูง (inches) และ นำ้หนัก (pounds) ของผู้ชายจำนวน 100 คนที่นำมาแสดงด้วย scatter plot (รูปที่ 1) ดูแล้วเหมือนกับว่าจะมีความสัมพันธ์กันอยู่ โดยที่เมื่อค่าความสูงมากขึ้น ค่าของน้ำหนักก็จะเพิ่มตาม 

รูปที่ 1

การคำนวณ :

ให้ X แทนข้อมูลความสูง Y แทนข้อมูลน้ำหนัก

$$\begin{array}{rl}E(X)& =69.05\\ \\ E(Y)& =186.85\\ \\ E(XY)& =12941.097\\ \\ Cov(X,Y)& =12941.097-69.05\times 186.85=39.10\end{array}$$

ค่า Cov(X,Y) เป็นบวกสอดคล้องกับ scatter plot บอกว่าความสูงและน้ำหนักของผู้ชายมีความสัมพันธ์ไปทางเดียวกัน

หาค่า correlation :

$$\begin{array}{rl}V(X)& =6.70\\ \\ V(Y)& =368.84\\ \\ Corr(X,Y)& =\frac{39.10}{6.70\times 368.84}=0.016\end{array}$$

ค่า correlation มีค่ามากกว่า 0 แสดงถึงความสัมพันธ์ทางบวกต่อกันระหว่างความสูงและน้ำหนักแต่ยังไม่กับเป็น linear ที่ชัดเจน

---

เอกสารอ้างอิง

[1] https://en.wikipedia.org/wiki/Expected_value