2 선형 독립과 선형 종속
선형 독립
선형 독립(linearly independent)을 풀어서 정의하면 이해하기 어렵고 복잡합니다. 따라서 수식으로 선형 독립을 정의하고자 합니다. 예를 들어 A = {a1, a2, a3, ⋯, an}에 대해 c1a1, + c2a2, + c3a3, + …, + cnan = 0을 만족하는 c가 모두 0일 때를 선형 독립이라고 합니다.
즉, 수식 10.5가 있을 때, 이 수식을 만족하는 상수 값이 c1 = c2 = c3 = … = cn = 0이라면 a1, a2, a3, …, an을 선형 독립이라고 합니다.
수식 10.5
c1a1, + c2a2, + c3a3, + …, + cnan = 0
잠 깐 만 요
인공지능에서 선형 독립과 선형 종속은 어떻게 사용하나요?
인공지능에서 데이터셋 특성이 많아지면 오버피팅(overfitting)이 발생합니다. 이러한 현상을 차원의 저주라고 하는데, 이를 해결하는 방법 중 하나로 PCA(Principal Component Analysis)가 있습니다.
PCA는 특성 추출(feature extraction) 방법을 이용하는데, 특성 추출은 원본 특성의 조합으로 새로운 특성을 생성하는 것입니다. 즉, 데이터에서 주축을 찾고 모든 데이터를 해당 축에 투영시켜서(원본 특성들의 선형 결합으로) 새로운 특성을 만듭니다. 이때 데이터의 특성 간 관계가 선형 종속 관계일 때 특성 추출이 잘 작동합니다.