타코야끼 기술 블로그

빅데이터분석기획 / 데이터 분석 계획 / 분석 작업 계획

데이터 처리 프로세스데이터 소스 -> 데이터 수집 -> 데이터 저장 -> 데이터 처리 -> 데이터 분석 -> 데이터 표현 데이터 처리 영역데이터소스, 데이터 수집, 데이터 저장, 데이터 처리 데이터 분석 영역데이터 분석, 데이터 표현 훈련 데이터셋, 검증 데이터셋, 테스트 데이터셋 FGI(Focused Group Interview)작은 구릅의 참가자들을 모아 집단적인 토론을 통해 데이터를 수집하는 방법이다. 빅데이터 특징Volume, Variety, Velocity, Veracity, Value  전처리(preprocessing)데이터를 가공하는 행위이다.

빅데이터분석기획 / 데이터 분석 계획 / 분석 방안 수립

분석 대상 분석 대상 (what)분석 방식(how)OptimizationInsightSolutionDiscovery ROI (Return Of Inverstment)ROI = Return / InvestmentInvestment = 데이터 크기(Volume), 데이터 형태(Variety), 데이터 속도(Velocity)Return = 새로운 가치(Value) 하향식 분석 방식, 상향식 분석 방식 이상값일반적 추세에서 많이 벗어나는 값이다. 빅데이터 분석 방법론 개발절차분석 기획 -> 데이터 준비 -> 데이터 분석 -> 시스템 구현 -> 평가 및 전개 데이터 분석 조직구조집중형 조직구조, 기능형 조직구조, 분산형 조직구조 Meta Data다른데이터를 설명하기위한 데이터 Mash-Up여러 웹서비스 업체들이 ..

빅데이터분석기획/빅데이터이해/빅데이터 기술 및 제도

빅데이터 플랫폼 구조소프트웨어 계층 : 데이터 처리 및 분석과 데이터 수집, 정제한다.플랫폼 계층 : 작업 스케줄링이나 데이터 및 자원 할당과 관리한다.인프라스트럭처 계층 : 노드 및 네트워크를 통해 빅데이터 처리와 분석에 필요한 자원을 제공한다. 빅데이터 처리 과정생성 -> 수집 -> 저장 -> 처리 -> 분석 -> 시각화 ETL(Extract Transform Load) 프로세스데이터 추출 -> 가공 -> 적재 구성되어 있고 다양한 유형의 데이터를 취합하여 공통된 형식으로 변환하여 적재하는 과정을 의미한다. 맵리듀스(MapReduce)구글에서 개발한 프로그래밍 모델로 효과적인 병렬 및 분산 처리를 지원한다. 빅데이터 처리 과정에서 처리 단계에 주로 사용 된다. 마이닝데이터로부터 통계적인 의미가 있는 ..

빅데이터분석기획/빅데이터이해/빅데이터 개요 및 활용

데이터관찰하거나 수집하여 얻은 값으로 개별 데이터로는 그 의미가 중요하지 않은 객관적 사실이다. 정보데이터를 가공하여 데이터 간 관계를 분석하고 그 속에서 도출된 의미이다. 지식 정보에 개인적인 경험을 결합시켜 내재화한 결과물이다. 지혜축적된 지식에 아이디어를 결합하여 도출한 결과물이다. 정형 데이터정해진 형식과 구조에 맞게 저장되도록 구성된 데이터로 연산이 가능하다. RDBMS의 데이터들이 대표적이다.  반정형 데이터스키마 정보를 데이터와 함께 제공하는 파일 형식의 데이터이며 연산이 불가능하다. JSON, XML, HTML이 반정형 데이터에 속한다. 비정형 데이터구조가 정해지지 않은 데이터로 연산이 불가능하다. 종류로는 동영상, 이미지, 음성이 대표적이다. 데이터 마트데이터 웨어하우스에서 데이터를 꺼내..

필기 / 목차 분석

Part1 빅데이터 분석 기획1. 빅데이터 이해- ETL, 가트너 3V, 데이터사이언티스트, 데이터 웨어하우스, 빅데이터 가치, 마이데이터, 데이터 분석 조직구조- 딥러닝, 분석 5단계, 지도학습, 비식별화, 개인정보보호법, 데이터 거버넌스, 하둡, GDPR, API 게이트웨이, 스파크, 전이학습 2. 데이터 분석 계획- EDA, 데이터 분석 기획, 절차, 접근 방법, 모델링, 진단분석, 분석 성숙도, 시급성, 메타 데이터- 이상값, 데이터 수집, 분석 단계, 프로젝트 관리 3. 데이터 수집 및 저장 계획- 정형 데이터 품질 보증, 민감 정보, 데이터 품질, 비식별 조치- NoSQL, HDFS, 제타바이트, 저장 시스템 Part2 빅데이터 탐색1. 데이터 전처리- 데이터 정제, 이상치 판단- 변수 선택,..