[선형대수] (n) Positive definite matrix

글 시작에 앞서 아래 블로그를 참조했음을 밝힙니다. 

 

[선형대수학] 양의 정부호 행렬(positive definite matrix)이란?

양의 정부호 행렬 (positive definite matrix) - 공돌이의 수학정리노트

 

 

symmetric matrix 중 특이한 형태인 Positive definite matrix, 즉 양정행렬은 무엇인가? 수학적 정의는 다음과 같다.

 

모든 영벡터가 아닌 열벡터 v에 대해, vMv>0이면 M은 positive definite matrix다. 

이 배경을 파헤치면 다음과 같다. 

 

위와 같은 2차식이 있을때 우리는

1계도함수=0이 되는 지점을 포착하여 x=-2, y=4라는 극점을 파악한다.

그리고 2계도함수의 부호를 통해 극소, 극대 여부를 판단한다.

 

그렇다면 다변수함수에서는 어떤가?

마찬가지로 1계도함수를 통해 극점을 파악해준다. 이 때 극점은 극대값, 극소값, 안장점(saddle point) 중 하나다.

이 경우 우리는 두가지 방법을 통해서 극대/극소/안장점 여부를 판정할 수 있다.

 

우선은 가장 잘 알려진 2계도함수를 활용한 방법이다. 

 

그리곤 이와 같은 방법이 따로 존재한다. 다변수함수를 위와 같이 식을 조작하여 극대/극소/안장 여부를 판정한다.

1) a>0, ac>b^2 : 양의 정부호, x,y의 변동에 따라 f(x,y)값이 커지니까 극소점

2) a<0, ac>b^2 : 음의 정부호, x,y의 변동에 따라 f(x,y)값이 작아지니까 극대점

3) ac<b^2 : 안장점

 

이를 행렬로 표현한다면 위와 같다.

A가 만약 [[2,2],[2,1]] 이라면 ac=2>4=b^2이니 해당 행렬은 안장점을 가진 행렬이 된다.

A가 만약 [[-1,2],[2,-8]] 이라면 8>4, -1<0이니 음정행렬이 된다. 이 경우 극대값이 존재하는 경우다.

 

자 그럼 만약 더 general하게, nXn mtx A가 있다면 어떻게 판별할 수 있을까?

다음 조건 중 하나를 만족하면 된다.

1) 모든 영벡터가 아닌 열벡터 x에 대해, xAx>0 (정의)

2) A의 모든 고유값이 0보다 커야한다.

3) A의 모든 좌상단 sub행렬의 determinant값이 0보다 크다

4) A의 모든 pivot이 0보다 크다

5) A=R^T * R을 충족하는, 선형독립의 열벡터를 지닌 행렬 R이 존재한다.

 

이중 가장 간단한 2, 3번을 자주 사용한다.

 

위와 같은 3 by 3 행렬 A가 존재한다. 이는 어떠한 행렬인가?

 

3번 방법을 활용하면 좌측 상단부터, sub행렬의 determinant가 각각 2, 3, 4이니 모두 0보다 크다. 따라서 A는 positive definite matrix다.

 

2번 방법을 활용하기 위해선 고유값을 구해줘야한다. Ax=lambda*x, (A-lambda*I)x=0이기 때문에 해당 행렬의 determinant값은 0이다. 식을 풀어내면 lambda=2, 2+root(2), 2-root(2)이며 이들 모두 0보다 크다. 따라서 A는 positive definite matrix다. 

 

 

정리하자면, 우리는 positive definite matrix의 여부를 통해 해당 행렬이 극소값을 지니는지 여부를 판단할 수 있다. 

보통 optimization theory에선 특정 함수의 global minimum을 구하는 것이 목적이기 때문에 행렬의 positive definite 여부는 상당히 중요하다.