본문 바로가기

데이터 다루기

(175)
[Python 시각화] Scatter plot (점 그래프) 안녕하세요. 이번 포스팅에서는 Python을 활용한 Scatter plot의 시각화에 대해서 다뤄 보도록 하겠습니다. (1) 사용할 패키지 불러오기 %matplotlib inline import matplotlib.pyplot as plt plt.style.use('seaborn-whitegrid') import numpy as np Python에서 시각화 패키지로 가장 많이 사용하는 것은 Matplotlib 입니다. (2) 사인 그래프 그리기 x = np.linspace(0, 10, 30) y = np.sin(x) plt.plot(x, y, 'o', color='black'); numpy의 sin 함수를 통해서 x와 y를 생성하였습니다. plt.plot 함수를 활용하고, 'o' 조건을 통하여 o 모양의..
하이퍼 파라미터 튜닝 (2) 논문 : Yu, T., & Zhu, H. (2020). Hyper-parameter optimization: A review of algorithms and applications. arXiv preprint arXiv:2003.05689. ​ ​ 3. Search Algorithms and Trial Schedulers on Hyper-Parameter Optimization 이전 포스팅에서 다룬 내용을 요약하면, 딥러닝 네트워크에서 train-related 혹은 structure-related 하이퍼파라미터는 모델의 성능에 큰 영향을 미칩니다. 본 section에서는 하이퍼파라미터 결정에 큰 도움을 줄 수 있는 탐색 알고리즘에 대해서 간략하게 리뷰해볼 예정입니다. 하이퍼파라미터는 정수, 실수, 범주형..
하이퍼 파라미터 튜닝 (1) 논문 : Yu, T., & Zhu, H. (2020). Hyper-parameter optimization: A review of algorithms and applications. arXiv preprint arXiv:2003.05689. ​ ​ 1. Contribution ​ - Hyper-parameters are systematically categorized into structure-related and training-related. The discussion of their importance and empirical strategies are helpful to determine which hyper-parameters are involved in HPO. ​ - HPO algorithm..
[Tensorflow] Pix2Pix 이번에 포스팅할 모델은 Pix2Pix입니다. Pix2Pix는 그림의 도면이 주어지면, 이를 토대로 원본 이미지를 생성하는 모델입니다. 위의 Input 이미지로부터 Ground Truth 이미지를 생성할 수 있는 목적을 가지는 것입니다. ​ 1. 사용할 패키지 불러오기. import tensorflow as tf import os import time from matplotlib import pyplot as plt from IPython import display import를 활용하여 사용할 패키지를 불어왔습니다. ​ 2. 데이터 불러오기. _URL = 'https://people.eecs.berkeley.edu/~tinghuiz/projects/pix2pix/datasets/facades.tar.gz..
음성 데이터 (Audio Data) Audio Data를 컴퓨터에서 처리하기 위해서는 일반적으로 두 가지 Process가 진행된다. ​ (1) Sampling Sampling은 음성 데이터를 시간축으로부터 얼마나 쪼개서 볼 것인가를 의미한다. 이 때, 이 수치를 Sampling Rate라고 한다. 예를 들어서 Sampling Rate가 12,000 인 경우 1초 동안 발생한 파동을 12,000개의 점들로 구성된 것으로 컴퓨테어 받아들인다. ​ (2) Quantizing Quantizing을 한글로 번역하면 양자화입니다. Sampling이 음성 데이터를 시간 축에서 바라본 측면이라면 반대로, Quantizing은 음성 데이터를 진폭 측면에서 바라봅니다. 이 때, bit 단위로 수치가 정해집니다. bit는 2의 제곱 측면으로 증가합니다. 컴퓨..
[Vision] DeepDream (딥드림) 이번 포스팅에서는 DeepDream 모델에 대해서 실습해보도록 하겠습니다. DeepDream 모델은 신경망이 학습한 패턴을 시각화하는 기능을 가지고 있습니다. 예를 들어서, 아래와 같은 사진을 봅시다. 강아지 사진을 베이스로 초현실적인 패턴이 입혀져 있습니다. 즉 강아지 사진에 신경망이 학습한 패턴을 입혀서 시각화할 수 있습니다. ​ 1. 사용할 패키지 불러오기. import tensorflow as tf import numpy as np import matplotlib as mpl import IPython.display as display import PIL.Image from tensorflow.keras.preprocessing import image import를 활용하여 사용할 패키지를 불어왔..
[Vision] Image Segmentation (이미지 분할) 이번 포스팅에서는 Image segmentation에 대해서 실습해보도록 하겠습니다. Image segmentation은 이미지에서 개체가 있는 위치, 해당 개체의 모양, 그리고 어떤 픽셀이 어떤 객체에 속하는 지를 분류하는 Task입니다. 즉 다시 말해서, 이미지 전체를 여러가지 class로 분류하겠다는 것입니다. ​​ 1. 사용할 패키지 불러오기. import tensorflow as tf from tensorflow_examples.models.pix2pix import pix2pix import tensorflow_datasets as tfds tfds.disable_progress_bar() from IPython.display import clear_output import matplotlib..
[Vision] Transfer Learning + Fine Tuning 이번 포스팅에서는 사전 훈련된 모델을 가지고 와서, 새로운 데이터에 학습시키는 Transfer learning에 대해서 실습하도록 하겠습니다. ​ 총 2가지 방법으로 진행 해보도록 하겠습니다. ​ (1) 특징 추출 새 샘플에서 의미 있는 형상을 추출하기 위해 이전 네트워크에서 학습한 표현을 사용합니다. 사전 훈련된 모델 위에 처음부터 교육할 새 분류기를 추가하기만 하면 이전에 데이터셋으로 학습한 특징 맵의 용도를 재사용할 수 있습니다. ​ 전체 모델을 재훈련시킬 필요는 없습니다. 기본 컨볼루션 네트워크에는 그림 분류에 일반적으로 유용한 기능이 이미 포함되어 있습니다. 그러나 사전 훈련된 모델의 최종 분류 부분은 기존의 분류 작업에 따라 다르며 이후에 모델이 훈련된 클래스 집합에 따라 다릅니다. ​ (2)..