분류 전체보기7 고유값과 고유벡터 일반적으로 행렬은 벡터와 연산하여 그 벡터의 방향과 크기를 변화시키는 영향을 미친다. 그러나 어떠한 일부의 벡터들은 특정 행렬과 연산한 뒤 방향은 그대로 크기만 변화하는 경우가 있다. 이때 이 벡터를 고유벡터라고 하고 변화하는 크기를 고유값이라고 한다. $A\vec{v} = \lambda \vec{v}$$\vec{v}$ : 고유벡터 $\lambda$ : 고유값 예를 들어 행렬 $A = \begin{bmatrix} 2 & 0 \\ 0 & 3 \end{bmatrix}$ 는 각 좌표축 방향으로 벡터를 확장시키는 역할을 한다. - $(1, 0)$에 A를 곱하면 → $(2, 0)$ (x축 방향 고유벡터, 고유값 2) - $(0, 1)$에 A를 곱하면 → $(0, 3)$ (y축 방향 고유벡터, 고유값 3) 이 두.. 2025. 5. 20. Optimizer : AdaGrad, RMSProp, Adam 딥러닝 모델을 학습하기 위해 꼭 필요한 요소 중 하나는 Optimizer, 즉 최적화 알고리즘이다. 딥러닝은 일반적으로 손실 함수(loss)를 계산하고, 이 손실을 줄이기 위한 방향인 gradient를 구한 뒤, Gradient Descent 방식을 통해 모델의 파라미터를 업데이트한다.이때 파라미터를 어떻게 업데이트할지를 결정하는 것이 Optimizer이다. Optimizer의 종류는 다양하지만, 이 글에서는 AdaGrad, RMSProp, Adam의 세 가지를 간단히 정리한다.1. AdaGradAdaGrad는 각 파라미터마다 개별적인 학습률을 적용하는 방식이다. 많이 업데이트된 파라미터는 점점 학습률이 작아지고, 거의 업데이트되지 않은 파라미터는 상대적으로 더 큰 학습률을 갖게 된다. AdaGrad는 .. 2025. 5. 1. Entropy, Cross Entropy, KL Divergence 머신러닝, 특히 분류 문제를 공부하다 보면 엔트로피(Entropy), 크로스 엔트로피(Cross Entropy), KL 발산(KL Divergence)이라는 개념이 자주 등장합니다. 이 글에서는 이 세 가지 개념을 간단하게 정리해 보겠습니다. 1. 엔트로피 (Entropy): 확률 분포의 불확실성을 나타내는 지표 어떤 확률 변수 X가 있을 때, 그 엔트로피는 다음과 같이 정의됩니다: $H(X) = - \sum_{x \in \mathcal{X}} P(x) \log P(x)$ 사건 x가 발생할 확률이 작을수록, 정보량 $-\log P(x)$ 는 커짐엔트로피는 전체 평균 정보량 (불확실성)을 나타냄엔트로피가 클수록 예측이 어려운 상황 2. 크로스 엔트로피 (Cross Entropy): 실제 분포 P와 예측.. 2025. 4. 30. 이전 1 2 다음