빅데이터분석기획 / 데이터 수집 및 저장 계획 / 데이터 수집 및 전환

M2M(machine to machine)

LOD(linked open data)

ERP(enterprise resource planning)

CRM(customer relationship management)

 

데이터 수집 기술

정형 데이터

ETL, FTP, API, DB to DB, 스쿱(sqoop)

비정형 데이터

크롤링, RSS, Open API, Chukwa, Kafka

반정형 데이터

Flume, Scribe, Sencing, Streaming

 

비식별화

가명처리, 총계처리, 데이터삭제, 데이터 범주화, 데이터 마스킹

 

정형 데이터 품질 기준

완전성, 유일성, 일관성, 유효성, 정확성

 

비정형 데이터 품질 기준

기능성, 신뢰성, 사용성, 효율성, 이식성