[선형대수] (n) Covariance Matrix

Multivariate distribution을 다룰 때나 Multivariate Regression을 진행할 때 필연적으로 마주치는 개념.

금융field에선 CAPM의 beta값을 계산할 때 활용되는 개념이다. 

 

input feature 2개로 구성된 data의 covariance mtx은 2by2 matrix로 이루어진다. 이는 항상 feature^2 matrix의 형태다.

가령 특정 과일을 먹었을 때 행복도를 나타낸 dataset이 존재한다고 가정해보자. sub1은 input feature <사과, 바나나>에 대해 <1,1>의 행복도를 갖고 sub2, sub3는 각 <3,0>, <-1,-1>이다. 이 때 사과와 바나나의 공분산은 어떻게 형성되는가?

 

COV(A,B) = E(A*B) - E(A)E(B)가 공식이긴 한데 직관적으로 설명하려면, 사과와 바나나가 가리키는 방향이 같다면 covar은 높아진다. 위 예시의 경우 공식을 활용하여 공분산값을 구한다면 2/3이 도출된다. 

공분산 공식에 같은 input feature를 대입하면 분산값이 나온다. COV(B,B)=E(B^2)-E(B)^2인데, 이는 우리가 흔히 아는 분산공식이란 점에서 공분산 공식은 general version임을 알 수 있다. 

 

다시 covar mtx로 넘어가면, covariance matrix는 diagonal은 특정 feature에 대한 분산값이 위치하고, 그 외에는 공분산값이 위치한다. 이 때 COV(B,A)나 COV(A,B)가 다르지 않기 때문에 covar mtx는 symmetric한 성질을 갖는다. 

 

따라서 non-diag가 A,B의 공분산을 나타내는 원소이고, diag element는 분산값을 나타낸다.

위 예시를 살펴보면 (1,1)가 클수록 x1 feature에 분포한 data가 산포한 것을 확인할 수 있다. 이는 VAR(x1)가 크기 때문에 더 넓은 범위로 데이터가 퍼져있는 것이다. (2,2)의 경우도 마찬가지다.

(1,2), (2,1)은 상술했듯이 서로 값이 같은데 해당 값이 양수이면 양의 상관관계를, 음수면 음의 상관관계를 갖는다. 이 때 covar이 0이라면 둘은 규칙성이 없는 서로 상관성이 없는 분포를 갖게 된다.