일반적으로 행렬은 벡터와 연산하여 그 벡터의 방향과 크기를 변화시키는 영향을 미친다. 그러나 어떠한 일부의 벡터들은 특정 행렬과 연산한 뒤 방향은 그대로 크기만 변화하는 경우가 있다. 이때 이 벡터를 고유벡터라고 하고 변화하는 크기를 고유값이라고 한다.
$A\vec{v} = \lambda \vec{v}$
- $\vec{v}$ : 고유벡터
- $\lambda$ : 고유값
예를 들어 행렬
$A = \begin{bmatrix} 2 & 0 \\ 0 & 3 \end{bmatrix}$
는 각 좌표축 방향으로 벡터를 확장시키는 역할을 한다.
- $(1, 0)$에 A를 곱하면 → $(2, 0)$ (x축 방향 고유벡터, 고유값 2)
- $(0, 1)$에 A를 곱하면 → $(0, 3)$ (y축 방향 고유벡터, 고유값 3)
이 두 방향의 벡터는 변형 후에도 방향이 변하지 않는다.
그렇다면 이 고유값과 고유벡터가 왜 중요할까?
데이터의 분포 측면에서 해석할 수 있다. 이러한 고유값과 고유벡터의 성질을 이용하여 응용하는 사례 중 PCA 주성분 분석을 들 수 있다. PCA는 데이터의 가장 중요한 방향을 찾는 방향이다. 데이터의 중요한 방향이라는 의미가 조금 모호하게 이해될 수 있지만 데이터의 분포의 측면에서 Feature들 간의 상관관계를 가장 잘 나타내는 방향이라고 이해하면 좋을 것 같다.
Feature들 간의 상관관계에 대해 이해하기 위해 가지고 있는 데이터의 공분산 행렬을 구하면,
$ \mathbf{\Sigma} = \frac{1}{n-1} \sum_{i=1}^{n} (\mathbf{x}_i - \mathbf{\bar{x}})(\mathbf{x}_i - \mathbf{\bar{x}})^T $
로 구할 수 있고, 각각의 원소는 $\mathbf{x}_i$ 와 $\mathbf{x}_j$ 의 공분산, 즉 데이터가 함께 변화하는 정도로 이해할 수 있다.
이렇게 구한 공분산 행렬의 고유벡터, 고유값을 구하게 되면 가장 큰 고유값 부터 순서대로 고유벡터의 방향을 따라 데이터의 상관관계가 가장 큰 분포를 따르게 되고 이 방향들이 해당 데이터의 주성분들이 된다.
즉, 결론은 고유벡터와 고유값은 행렬(즉, 데이터나 시스템)의 본질적인 방향과 크기를 나타내어 복잡한 다차원 데이터의 구조적 특성을 파악하고, 그 본질을 나타내 핵심 특성을 포착할 수 있게 해주기 때문에 중요하다.