[빅데이터 분석기사] 1. 빅데이터 개요

1. 빅데이터의 정의

기존 데이터베이스 관리 도구의 능력을 넘어서는 대량의 정형 또는 심지어 데이터베이스 형태가 아닌 비정형의 데이터 집합까지 포함한 데이터로부터 가치를 추출하고 결과를 분석하는 기술

​

​

2. 빅데이터의 특징

3V 와 5V에 대해서만 외우도록 하자.

​

(1) 3V

Volume (규모), Variety (다양성), Velocity (처리속도)

​

(2) 5V

Value (가치), Veracity (정확성)

​

추가적으로 데이터의 크기 단위에 대해서 알아두면 좋아보인다.

​

Byte < KB < MB < GB < TB < PB < EB < ZB < YB < BB < GeB

전부 다 외울 필요는 없고, 일반적으로 ZB까지만 외우면 될 것으로 보입니다.

​

3. 빅데이터의 유형

​

- 정형 데이터

- 반정형 데이터 (Web Log 데이터, 센서 데이터)

- 비정형 데이터 (텍스트, 이미지, 음성, 동영상 등)

​

4. 빅데이터분석의 중요성

대규모 데이터에 대한 데이터 생성, 수집, 분석, 표현을 특징으로 하는 빅데이터 기술의 발전으로 다변화된 현대 사회를 더욱 정확하게 예측하여 효율적으로 작동케 하고, 개인화된 현대 사회 구성원마다 맞춤형 정보를 제공, 관리, 분석을 가능케 하며, 과거에는 불가능했던 기술을 실현시키고 새로운 서비스를 제공함.

​

5. 빅데이터 요소 기술

​

(1) 수집

데이터의 원천으로부터 데이터를 검색하여 수동 또는 자동으로 수집

단순 수집이 아닌 검색, 수집, 변환 과정도 포함

​

(2) 저장

데이터 크기에 상관없이 저렴한 비용으로, 데이터를 빠르고 쉽게 저장

​

(3) 공유

시스템 간의 데이터 공유, Multitenant 데이터 공유, 협업 필터링

​

(4) 처리

대용량 데이터의 저장, 수집, 관리, 유통, 분석 과정 처리

​

(5) 분석

데이터를 효율적이고 정확하게 분석하여 비즈니스 등의 영역에 적용

​

(6) 시각화

다양한 차트와 관계 등을 시각화하여 데이터 탐색 및 결과해석 등에 활용

​

6. 빅데이터 분석 기획

NCS (국가직무능력표준)에서는 빅데이터 분석 기획 능력 단위를 네 가지 요소로 구분한다.

​

(1) 도메인 이슈 도출하기 (분석과제 As/Is 및 개선방향 작성)

주어진 업무에 대한 문제점을 정의하고 빅데이터 분석을 통한 개선 방향 도출

문제점 및 이에 대한 개선 목표가 포함된 빅데이터 요건 정의서 수립

​

(2) 분석목표 수립하기 (분석목표정의서 확정)

빅데이터 분석을 통해 얻고자 하는 목표를 정의한 분석목표정의서 수립

​

(3) 프로젝트 계획하기 (프로젝트 계획 설계)

빅데이터 분석을 위한 예산, 소요기간, 현재의 IT 환경 등을 고려하여 WBS (Work Breakdown Structure) 설계

​

(4) 보유데이터 자산 확인하기 (내 외부 데이터 활용 수준 분석 및 컴플라이언스 점검)

분석목표와 프로젝트 계획에 따른 사전 데이터 점검