본문 바로가기

분류 전체보기

 (297)
[Vision] Transfer Learning + Fine Tuning 이번 포스팅에서는 사전 훈련된 모델을 가지고 와서, 새로운 데이터에 학습시키는 Transfer learning에 대해서 실습하도록 하겠습니다. ​ 총 2가지 방법으로 진행 해보도록 하겠습니다. ​ (1) 특징 추출 새 샘플에서 의미 있는 형상을 추출하기 위해 이전 네트워크에서 학습한 표현을 사용합니다. 사전 훈련된 모델 위에 처음부터 교육할 새 분류기를 추가하기만 하면 이전에 데이터셋으로 학습한 특징 맵의 용도를 재사용할 수 있습니다. ​ 전체 모델을 재훈련시킬 필요는 없습니다. 기본 컨볼루션 네트워크에는 그림 분류에 일반적으로 유용한 기능이 이미 포함되어 있습니다. 그러나 사전 훈련된 모델의 최종 분류 부분은 기존의 분류 작업에 따라 다르며 이후에 모델이 훈련된 클래스 집합에 따라 다릅니다. ​ (2)..
[Vision] Image Augmentation 1. 사용할 패키지 불러오기. import matplotlib.pyplot as plt import numpy as np import tensorflow as tf import tensorflow_datasets as tfds from tensorflow.keras import layers from tensorflow.keras.datasets import mnist import를 활용하여 사용할 패키지를 불어왔습니다. ​ 2. 데이터 불러오기. 이번 실습에서 사용할 데이터는 꽃 사진입니다. (train_ds, val_ds, test_ds), metadata = tfds.load( 'tf_flowers', split=['train[:80%]', 'train[80%:90%]', 'train[90%:]'],..
[Vision] CNN을 통한 이미지 분류 1. 사용할 패키지 불러오기. import matplotlib.pyplot as plt import numpy as np import os import PIL import tensorflow as tf from tensorflow import keras from tensorflow.keras import layers from tensorflow.keras.models import Sequential import를 활용하여 사용할 패키지를 불어왔습니다. ​ 2. 데이터 불러오기. 이번 실습에서 사용할 데이터는 꽃 사진입니다. import pathlib dataset_url = "https://storage.googleapis.com/download.tensorflow.org/example_images/fl..
[Vision] 이미지 분류 1. 사용할 패키지 불러오기. import tensorflow as tf from tensorflow import keras import numpy as np import matplotlib.pyplot as plt import를 활용하여 사용할 패키지를 불어왔습니다. ​ 2. 데이터 불러오기. fashion_mnist = keras.datasets.fashion_mnist (train_images, train_labels), (test_images, test_labels) = fashion_mnist.load_data() 저희는 이번 실습에서 굉장히 유명한 Open dataset 중에 하나인 패션 MNIST를 활용하겠습니다. 패션 MNIST 일반적인 숫자로 알려져 있는 기본 MNIST보다 어려운 과제입..
[Vision] 이미지 불러오기 1. 사용할 패키지 불러오기. import numpy as np import os import PIL import PIL.Image import tensorflow as tf import tensorflow_datasets as tfds import pathlib import matplotlib.pyplot as plt import를 활용하여 사용할 패키지를 불어왔습니다. 2. 데이터 불러오기. dataset_url = "https://storage.googleapis.com/download.tensorflow.org/example_images/flower_photos.tgz" data_dir = tf.keras.utils.get_file(origin=dataset_url, fname='flower_ph..
Tensorflow 2.0 (GPU) 설치하기 안녕하세요. 이번 포스팅에서는 Tensorflow 2.0 (GPU) 툴을 설치하는 방법에 대해서 알아보겠습니다. Tensorflow는 구글에서 개발되었기 때문에, 머신 및 딥러닝 분야에서 Tutorial이 매우 활발히 이루어지고 있다는 장점이 있습니다. ​ 실제로 해외의 뛰어는 데이터 분석가들은 Tensorflow를 기반으로 개발을 많이 하고 있다고 합니다. 이 부분이 구글이 이 분야에서는 가장 뛰어난 기업으로 평가받고 있는 이유가 되는 것 같다는 생각이 드네요. ​ 그러면 이제 본격적으로 설치 방법에 대해서 알아보도록 하겠습니다. ​ 1. Cuda 설치 pytorch나 tensorflow든 뭐든지 간에 GPU를 사용하기 위해서는 Cuda를 설치해주어야 합니다. Cuda는 구글에서 검색만 해봐도 설치하는..
[빅데이터 분석기사] 4. 분석 수행 방안 수립 1. 고려 사항 주어진 문제에 대하여 구체적으로 정의가 가능하고, 필요한 데이터가 존재하며, 데이터를 분석할 수 있는 분석역량을 보유하고 있는 경우 기존의 전통적인 빅데이터 분석 수행이 가능하다. 만약 이러한 조건들을 만족시키지 못한다면, 이를 보완하기 위하여 분석과제의 목적을 달성하기 위해 생성된 데이터에 대해 먼저, 목적 없이 분석하여 데이터에 숨겨져 있는 의미를 파악하거나 또는 정보시스템을 활용하여 일단 데이터 분석을 시도해 보고 그 결과를 확인해가면서 반복적으로 개선하며 원하는 결과를 도출한다. ​ 2. 빅데이터 분석 프로세스 (1) 문제인식 최근 디지털 정보량의 증가에 따라 대규모 빅데이터가 중대 이슈로 부각된 배경으로는 인터넷의 일상화, 도로 및 건축물 등 내장 센서와 사물인터넷 시스템의 증가..
[빅데이터 분석기사] 3. 데이터 확보 및 분석 방안 설정 1. 데이터 확보 계획 수립 (1) 수립 절차 ▶ 빅데이터 분석 목표에 맞는 데이터 확보 계획을 수립하기 위하여 체계적인 절차가 요구됨. ▶ 데이터 확보 계획: 목표 정의 > 요구사항 도출 > 예산안 수립 > 계획 수립 - 목표 정의: 성과목표 정의 및 성과지표 설정 - 요구사항 도출: 데이터 및 기술 지원 등과 관련된 요구사항 도출 - 예산안 수립: 과제 진행을 위한 자원 및 예산 수립 - 계획 수립: 인력 투입 방안, 일정 관리, 위험 및 품질 관리 ​ (2) 데이터 확보 시 고려사항 빅데티어 확보 계획 수립 시 추진일정은 분석목표정의서와 소요비용 배분계획을 중심으로 데이터 분석 흐름에 맞게 수립하는 것이 바람직하다. 세부적인 데이터 분석은 데이터 분석과제 정의, 데이터 준비 및 탐색, 분석 모델링 ..

티스토리툴바