본문 바로가기

데이터 다루기/선형대수학

(20)
[선형대수학] 22. Singular Value Decomposition (특이값 분해) 안녕하세요. 이번 포스팅에서는 Singular Value Decomposition (SVD) : 특이값 분해에 대해서 배워보도록 하겠습니다. 특이값 분해는 이전 포스팅에서 배웠던 특이값 분해처럼 행렬을 대각화하는 방법입니다. 고유값 분해는 제약 조건으로 선형 독립을 만족하는 정방 행렬에 대해서만 분해가 가능했지만, 특이값 분해는 어떠한 행렬이든 분해할 수 있기 때문에, 더 광범위하게 사용되고 있습니다. ​ 실수 공간에서 정의된 m X n 행렬에 대해서 특이값 분해를 정의해보도록 하겠습니다. 정리는 다음과 같습니다. AAT 와 ATA 는 대칭행렬이기 때문에 항상 고유값 분해가 가능합니다. ​ 특이값 분해는 위와같이 공식만 알고 있다면, 쉽게 얻을 수 있습니다. 하지만 여기서 중요한 것은 특이값 분해의 기하..
[선형대수학] 21. Eigendecomposition (고유값 분해) 안녕하세요. 이번 포스팅에서는 지난 포스팅에 이어서 Eigendecomposition (고유값 분해)에 대해서 배워보려고 해요. ​ 고유값 분해는 정방행렬이 다음과 같은 형태로 분해 될 수 있음을 보여줍니다. 여기서 선형 독립을 만족하는 모든 정방행렬에 대해서 고유값 분해가 성립한다는 것을 알아두셔야 합니다. 모든 정방행렬에서 고유값 분해가 성립하지 않습니다!! ​ 한 번 증명을 해볼까요??
[선형대수학] 20. Eigenvalue & Eigenvector (고유값과 고유벡터) 안녕하세요. 이번 포스팅에서는 선형대수학의 꽃이라고 할 수 있는 Eigenvalue & Eigenvector (고유값과 고유벡터)에 대해서 배워보도록 해요. ​ 우선 'Eigen' 는 독일어로 고유라는 뜻을 가집니다. 고유벡터라는 것은 무엇을 의미할까요?? 벡터는 '방향'과 '크기'로 이루어지는데, 여기서 벡터의 가장 중요한 성질은 무엇일까요? 바로 '방향'입니다. 벡터와 스칼라의 차이는 바로 스칼라는 '방향'이 존재하지 않는다는 것이지요. 고유벡터는 이 벡터의 중요 성질인 방향을 변화시키지 않고 오직 크기만 변화되는 벡터를 의미합니다. 고유값은 변화되는 크기의 양을 나타내구요. 이를 수식으로 표현하면 아래와 같아요! 저번 포스팅에서 배운 선형변환 A에 대해서 방향이 바뀌지 않고, 크기만 Lambda 배..
[선형대수학] 19. Linear transformation (선형 변환) 안녕하세요. 이번 포스팅에서는 Linear transformation (선형 변환) 에 대해서 배워보도록 하겠습니다. 선형 변환은 정의하기는 쉽지만, 그 의미를 해석하는 것이 어려운 일입니다. 선형 변환을 한 마디로 설명하자면, "선형변환은 선형 결합을 보존하는, 두 벡터 공간 사이의 함수이다." 입니다. 이 때, 선형 결합이란, 두 벡터의 덧셈과 스칼라-벡터 곱을 의미합니다. 예를 들어서, 두 벡터 A=(1,2) , B=(2,3) 가 존재한다고 합시다. A+B=C=(3,5) 라는 새로운 벡터가 만들어지는 데, C를 A,B의 선형결합으로 만들어졌다고 할 수 있습니다. 또한 3A=(3,6) 또한 A의 선형 결합으로 만들어졌다고 할 수 있습니다. ​ 즉, 선형 변환은 어떤 함수 T 에 의해서 A가 P, B가..
[선형대수학] 18. Row space, Column space, Null space 안녕하세요. 이번 포스팅에서는 벡터 공간내에서 정의되는 여러가지 Space들을 정의해보고자 합니다. ​ 먼저 Row Space 와 Column Space의 정의는 매우 간단합니다. 행렬 A에 대한 Row Space 는 행렬 A의 행들의 선형 조합으로 만들 수 있는 모든 집합 : Span{행렬 A의 rows} 로 정의됩니다. 이와 반대로 행렬 A에 대한 Column Space 는 행렬 A의 열들의 선형 조합으로 만들 수 있는 모든 집합 : Span{행렬 A의 columns} 로 정의됩니다. ​ 아무래도 말보다는 직접 보여드리는 것이 이해하기 쉽겠죠?? 우선 Row Space를 찾아봤어요. 여기서 Echelon form 변환이 나오는 데 이에 대한 설명이 잘 나와있는 사이트가 있어서 공유해드려요. https..
[선형대수학] 16. Dimension (차원) 안녕하세요, 이번 포스팅에서는 Dimension (차원)에 대해서 배워보도록 하겠습니다. ​ 우선 짚고 넘어가야할 Lemma가 하나 있습니다. (굉장히 중요합니다!!) 쉽게 말씀드리자면, 1번은 벡터 공간 V의 원소인 m개의 벡터로 구성된 alpha가 V를 Span 할 때, m개 보다 많은 벡터로 구성된 집합은 절대로 선형 독립이 될 수 없다는 것입니다. 그리고 2번은 반대로, alpha가 선형 독립일 때, m개 보다 적은 벡터를 가진 집합은 절 때, V를 Span할 수 없다는 것입니다. ​ 이제 벡터공간의 차원에 대해서 정의하도록 하겠습니다. 즉, 벡터 공간 V의 차원은 V의 기저의 크기와 같습니다. 예를 들어서, R^3의 차원은 기저인 S={(1,0,0),(0,1,0),(0,0,1)}의 크기인 3과 ..
[선형대수학] 15. Basis (기저) 안녕하세요. 이번 포스팅에서는 Bases에 대해서 배워보도록 하겠습니다. ​ 우선, 2가지 정의에 대해서 알아보도록 하겠습니다. 첫번째로 Linear combination (선형 조합)인데 n개의 벡터가 있을 때, 이들에 각각 계수를 붙여 더하는 식을 선형조합이라고 합니다. 그리고 n개의 원소에 대해서 모든 선형조합으로 만들 수 있는 벡터의 집합을 Span이라고 정의합니다. ​ 그리고 부분공간과 벡터 공간 사이의 Thm을 하나 알아봅시다. 이 정리는 W가 V의 부분공간임을 보일 때, 부분 공간의 복잡한 정의를 모두 보일 필요 없이, W의 원소 x,y에 대해서 임의의 실수 k에 의한 kx+y가 W에 포함되는가만 보이면 된다는 것입니다. ​ 위의 Thm에 의해서 다음 Thm가 성립합니다. 즉, 벡터 공간 V..
[선형대수학] 14. Cramer`s rule 안녕하세요. 이번 포스팅에서는 Cramer`s rule에 대해서 배워보도록 하겠습니다. ​ 우선 복습의 용도로 지난번 포스팅에서 배운 식을 가져와봤습니다. 이 식에서 혹시 A 밑에 붙은 i가 a의 i와 다른 값이면 어떻게 될까요? ​ 이 부분을 알기 위해서, 9번째 포스팅에 있던 Determinant의 성질을 가져와보았습니다. 저희가 사용할 성질은 3번째 성질입니다. 이처럼 i와 j가 다르면 행렬식은 0이됩니다. ​ 다음으로, 저희는 adj Matrix를 정의하겠습니다. 즉, adj(A)는 원소를 행렬로 가지는 행렬입니다. ​ 지금까지 배운 내용을 바탕으로, 아래의 정리가 성립합니다. 증명에 대해서는, 그냥 전개해보시면 성립함을 보실 수 있습니다. ​ 이제 Cramer`s rule을 배우기 위한 기초 작..