빅데이터분석기획 / 데이터 수집 및 저장 계획 / 데이터 적재 및 저장

HDFS(hadoop distributed file system)

Fluentd

Flume

Scribe

Logstash

 

sharding

데이터를 분할하여 다른 서버에 저장하는 과정이다.

 

스트리밍 데이터

빠르고  연속적, 대용량, 다양한 장소에서 발생하는 데이터이다.