공분산 (Covariance)

2개의 확률변수의 상관정도를 나타내는 값으로 확률변수 \(X\)와 \(Y\)의 기대값(평균)이 각각 \(\mu,\,\nu\)라고 하면

\[E(X)={1\over n}\sum_{i=1}^nx_i=\mu,\,E(Y)={1\over n}\sum_{i=1}^ny_i=\nu\]

공분산(covariance)는 다음과 같다.

\[{\rm Cov}(X,\,Y)=E\{(X-\mu)(Y-\nu)\}={1\over n}\sum_{i=1}^n(x_i-\mu)(y_i-\nu)\]

즉, 각 확률변수 \(X,\,Y\) 편차의 곱의 평균을 의미한다.

확률변수 \(X,\,Y\)가 각각 \(m,\,n\)차의 열벡터를 가질 때는 \(m\times n\) 공분산 행렬로 나타낼 수 있다.

\[X=\begin{pmatrix}x_1&x_2&\cdots&x_m\end{pmatrix},\,Y=\begin{pmatrix}y_1&y_2&\cdots&y_n\end{pmatrix}\]

\[{\rm Cov}(X,\,Y)=E\{(X-\mu)(Y-\nu)^T\}=\{{\rm Cov}(X,\,Y)\}^T\]

[예제] 위의 확률변수 \(X\)와 \(Y\)의 공분산 \({\rm Cov}(X,\,Y)\)는 다음과 같이 나타낼 수 있음을 증명하여라.

\[{\rm Cov}(X,\,Y)=E(X,\,Y)-\mu\nu\]

<증명> 기대값의 선형성과 평균의 정의\((\mu=E(X),\,\nu=E(Y))\)를 이용한다.

\[\begin{split}{\rm Cov}(X,\,Y)&=E\{(X-\mu)(Y-\nu)\}=E(XY-X\nu-Y\mu+\mu\nu)\\&=E(XY)-E(X\nu)-E(Y\mu)+E(\mu\nu)=E(XY)-\nu E(X)-\mu E(Y)+\mu\nu\\&=E(XY)-\nu\mu-\mu\nu+\mu\nu=E(XY)-\mu\nu\end{split}\]