누누와데이터

SVD (Singular Value Decomposition) 공식 SVD 역시 PCA와 유사항 행렬 분해 기법을 이용한다. 하지만. PCA의 경우, 정방행렬(행과 열의 크기가 같은 행렬)만을 고유벡터로 분해할 수 있지만, SVD는 정방행렬뿐만 아니라, 행과 열의 크기가 다른 행렬에도 적용할 수 있다. 위의 그림에서, 행렬 U와 V에 속한 벡터는 특이벡터(singular vector)이다. 특히 U에 속한 벡터를 Left Singular Vector, V에 속한 벡터를 Right Singular Vector라고 한다. 모든 특이벡터는 서로 직교하는(orthogonal) 성질을 가진다. 위의 식에서 U와 V의 가운데에 있는 diagonal은 대각행렬이며, 대각행렬은 행렬의 대각에 위치한 값만 0이 아니고 ..

구성 차원축소(Dimension Reduction) PCA (Principal Component Analysis) 공분산 행렬 공분산 행렬 분해 klearn 적용 및 활용 차원 축소(Dimension Reduction) 일반적으로 차원이 증가할수록, 데이터 포인트 간의 거리가 기하급수적으로 멀어지게 되고 희소(sparse)한 구조를 가지게 된다. 수백개 이상의 피처로 구성된 데이터 세트의 경우, 상대적으로 적은 차원에서 학습된 모델보다 예측 신뢰도가 떨어진다. 또한 피처가 많을 경우, 개별 피처 간에 상관관계가 높을 가능성이 큰데, 선형회귀와 같은 선형 모델에서는 입력 변수 간의 상관관계가 높을 경우 이로 인한 다중공선성 문제로 모델의 예측 성능이 저하된다 →필요성 : (1) 많은 다차원의 피처를 차원 ..