본문 바로가기

전체 글

(297)
[신경망] 20. Long Short Term Memory (LSTM) 안녕하세요, 이번 포스팅에서는 저번 RNN의 업그레이드 버전인 LSTM을 배워보도록 하겠습니다. LSTM에 대한 포스팅은 아래의 포스팅에서 많은 도움을 받았음을 미리 알려드립니다. 확실한 이해를 원하시는 분은, 영어지만 유명한 블로그임으로, 들어가서 공부해보시는 것을 추천합니다. https://colah.github.io/posts/2015-08-Understanding-LSTMs/ ​ 이전 포스팅에서 말씀 드렸다시피 RNN에는 깊이가 깊어질수록, 처음 시간대에 대한 반영이 0에 수렴한다는 Long-term dependency 단점이 있었습니다. 따라서 LSTM은 과거의 기억을 보존하되, 필요가 없어진 기억을 지워버리는 기능을 추가합니다. 예를 들어서, 옴니버스 형태로 구성된 소설책 데이터를 불러왔을 때..
[신경망] 19. Recurrent Neural Network (RNN) [Ref] CS 231 Lecture ​ 안녕하세요. 이번 포스팅에서는 Recurrent Neural Network, RNN에 대해서 배워보도록 하겠습니다. RNN의 등장 배경을 먼저 알아보도록 하겠습니다. 기존의 MLP 나 CNN은 좋은 성능을 보여주지만, 한 가지 전제 가정을 가지고 있습니다. 그것을 바로, MLP의 경우 모든 Inputs들이 서로 독립이라는 가정을 하며, CNN의 경우에는 모든 2D input들이 input내에서는 locally correlated 한 관계를 가지지만, 서로 다른 이미지간에는 독립이라는 가정이 있습니다. ​ 하지만, 실제로 Vidio에서 앞 장면과 뒷 장면은 전혀 독립이지 않습니다. 그리고, 문장 안에서 앞 뒤의 단어는 독립이 아니고, correlation이 상당히 ..
[신경망] 18. Deconvolution 안녕하세요, 이번 포스팅에서는 Deconvolution에 대해서 배워보도록 하겠습니다. 우선 Deconvolution이 무엇이기를 알기 전에, 어떠한 목적을 가지고 탄생되었는지를 알아야 합니다. 그러기 위해서는 Image Segmentation을 알아야합니다. ​ Image Segmentation을 통역하면 말 그대로, 이미즈를 분할하는 것입니다. 기존의 CNN은 고양이 사진을 넣으면 그저 고양이를 나타내는 하나의 클래스가 결과값으로 나옵니다. 위의 그림을 보면, 사실 고양이 사진에는, 하늘, 나무들, 초원도 있습니다. 하지만 우리의 관심사는 고양이이기 때문에 고양이만 예측값이 되어 나옵니다. 만약 우리가 한 이미지에서 존재하는 모든 정보를 알고 싶다면 어떻게야 할까요? 이러한 목적을 ​Image Seg..
[신경망] 17. Transfer Learning 안녕하세요. 이번 포스팅에서는 Transfer Learning 에 대해서 배워보도록 하겠습니다. ​ 기존의 기계학습 알고리즘에서는 2개의 훈련 데이터셋을 학습할 때, 비록 2개의 데이터셋이 비슷한 특징을 가진다고 하더라도, 2개의 모델을 각각 독립적으로 만들어서, 사용합니다. 예를 들어서, 첫번 째 모델은 가구에 소파, 식탁, 장롱 등의 다양한 category를 분류하는 모델이며, 두번 째 모델은 다양한 가구중에서 소파인지 아닌지를 분류하는 binary classification 모델이라고 가정하면, 첫번째와 두번째 모델은 각각 독립적으로 학습됩니다. 반면에, Transfer Learning은 이전에 사용되었던 모델의 정보를 입력받아 새로운 모델을 학습합니다. 예를 들어서, 가구를 분류하는 CNN 네트워..
[응용통계] 15. 마코프 체인 (Markov Chains) (6) 연습문제 안녕하세요. 이번 포스팅에서는 마코프 체인에 대한 마지막 복습으로써, 연습문제를 가지고 왔습니다. 다들 완벽하게 마스터하시길 바랍니다. ​ Quastion 1. ​ A taxi driver provides service in two zones of a city. Fares picked up in zone A will have destinations in zone A with probability 0.6 or in zone B with probability 0.4. Fares picked up in zone B will have destinations in zone A with probability 0.3 or in zone B with probability 0.7. The driver’s expected..
[응용통계] 14. Gambler`s Ruin 안녕하세요, 이번 포스팅에서는 마코프 체인에서 유명한 세 번째 예제입니다. 그것을 이름 그대로, '도박하는 사람들은 결국에 망한다' 입니다. ​ 내기에 총 N원이 존재한다고 가정합시다. 그리고 저의 시작 금액은 i원이고, 한 판당 1원의 배당을 걸어서 제가 0원이 되서 파산하거나 N원이 되서 내기를 이기면 도박은 끝나게 된다고 가정합시다. 그리고 제가 이길 확률을 p라고 가정하고, 질 확률은 자연스럽게 1-p 가 되고 이를 q라고 합시다. State 관계는 다음과 같이 그려집니다. 예를 들어서, 도박장에 대해서 도박장이 가지고 있는 돈은 분명히 제 돈보다는 훨씬 많을 것이므로, 제가 도박에서 이길 확률은 거의 0에 가깝습니다. 따라서 도박을 하면 망하게 되있답니다.
[응용통계] 13. Unrestricted Random Walk 안녕하세요, 이번 포스팅에서는 마코프 체인에서 유명한 두 번째 예시인 Unrestricted Random Walk 입니다. Random Walk에서는 주가와 같이 위로 가거나 아래로 가는 것이 랜덤하게 발생합니다. 저희는 p의 확률로 양의 방향 (위쪽)으로 가고, 1-p의 확률로 음의 방향 (아래쪽)으로 가는 마코프 체인을 생각해보겠습니다. 보시다시피 모든 State는 communicate 함을 바로 알 수 있습니다. 따라서, 하나의 class로 표현 되므로, irreducible 합니다. 그리고 0 state에서 n 단계를 거쳐서 0으로 다시 돌아올 확률은 다음과 같이 정의됩니다. n이 짝수 일때만 돌아올 수 있는것을 확인 할 수 있습니다. 이 때, 4p(1-p)는 p가 0.5이면 1이고, 0.5보다 ..
[응용통계] 12. CNC Router 안녕하세요. 이번 포스팅에서는 Markov Chain의 유명한 예제 첫번째로 CNC Router에 대해서 배워보도록 하겠습니다. 문제는 다음과 같습니다. 시설에는 4대의 CNC Router가 존재합니다. 그리고 한 번의 shift 가 진행 될 때, 각각의 CNC Router가 고장날 확률은 0.3으로 일정합니다. CNC Router가 고장이 나면, 수리 센터로 가게되는데, 수리센터에서 CNC Router를 고칠 확률은 다음과 같습니다. (수리센터 직원 2명) - 하나도 못 고칠 확률: 0.2 - 1개만 고칠 확률: 0.6 - 2개 고칠 확률: 0.2 ​ 이 때, 다음 질문들에 답해봅시다. ​ ​