빅데이터분석기획/빅데이터이해/빅데이터 개요 및 활용

데이터

관찰하거나 수집하여 얻은 값으로 개별 데이터로는 그 의미가 중요하지 않은 객관적 사실이다.

 

정보

데이터를 가공하여 데이터 간 관계를 분석하고 그 속에서 도출된 의미이다.

 

지식 

정보에 개인적인 경험을 결합시켜 내재화한 결과물이다.

 

지혜

축적된 지식에 아이디어를 결합하여 도출한 결과물이다.

 

정형 데이터

정해진 형식과 구조에 맞게 저장되도록 구성된 데이터로 연산이 가능하다. RDBMS의 데이터들이 대표적이다. 

 

반정형 데이터

스키마 정보를 데이터와 함께 제공하는 파일 형식의 데이터이며 연산이 불가능하다. JSON, XML, HTML이 반정형 데이터

에 속한다.

 

비정형 데이터

구조가 정해지지 않은 데이터로 연산이 불가능하다. 종류로는 동영상, 이미지, 음성이 대표적이다.

 

데이터 마트

데이터 웨어하우스에서 데이터를 꺼내 사용자에게 제공하는 역할

 

암묵지

개인에게 내재되어 있는 지식

 

형식지

문서와 같이 공유 가능한 지식

 

OLTP(OnLine Transaction Processing)

서버와 온라인으로 접속된 여러 단말 간 처리 형태의 하나로 DB 데이터를 수시로 갱신하는 프로세싱을 의미한다. 

 

OLAP(OnLine Analyical Processing)

OLTP에서 처리된 트랜잭션 데이터를 분석하는 것을 의미한다. OLTP가 갱신 위주라고 하면 OLAP는 조회 위주이다. 

 

데이터 웨어하우스

사용자의 의사결정에 도움을 주기 위하여 데이터를 공통의 형식으로 변환해서 관리하는 데이터베이스이다.

 

ETL

기업 데이터를 추출, 정제 및 가공하여 데이터 웨어하우스에 적재한다.

 

가트너 3V

규모(Volume), 유형(Variety), 속도(Velocity)

 

빅데이터 등장 효과

사전 처리 -> 사후 처리 , 표본조사 -> 전수조사 , 질 -> 양 , 인과관계 -> 상관관계

 

마이데이터

데이터에 대한 권리를 보유하고 있으며 스스로 행사할 수 있는 데이터

 

빅데이터 조직 구성

집중형 : 전사 분석 업무를 별도의 전담조직에서 수행하는 조직

기능형 : 각 현업 부서에서 분석 업무를 직접 수행한다.

분산형 : 분석 전문 인력을 현업 부서에 배치하여 분석 업무를 수행한다.

 

---

오답 노트

정성적 데이터

 

정량적 데이터

 

데이터 웨어하우스 특징

주제지향성, 통합성, 시계열성, 비휘발성

 

데이터 웨어하우스 구성요소

데이터 모델, ETL, ODS, DW Meta Data, OLAP

 

빅데이터 활용 3요소

자원,기술,인력