타코야끼 기술 블로그

빅데이터 모델링 / 분석 모형 설계 / 분석 절차 수립

상향식 접근문제 정의가 어려울 경우 많은 양의 데이터 분석을 통해 인사이트를 도출한다. 하향식 접근문제 정의가 가능할시에 사용한다. 유의수준귀무가설이 참인데 기각할 확률값이다.

빅데이터 탐색 / 통계기법의 이해 / 추론통계

추정(estimation)표본을 통해 모집단 특성이 어떠한가에 대해 추측하는 과정이다. 가설검정(testing hypothesis)가설을 설정하고 모집단으로부터 추출된 표본을 분석함으로써 가설이 올바른지 판정하는 과정을 나타낸다.  모수(parameter)모집단의 특성을 수치화하여 나타낸 것이다. 점추정(Point Estimate) 구간추정 귀무가설현재 믿어지고 있는 가설이다. 대립가설귀무가설을 반박하려는 가설이다. 1종오류귀무가설이 진실일 때 귀무가설을 기각하도록 결정하는 오류이다. 2종오류귀무가설이 거짓일 때 귀무가설을 채택하는 오류이다. p-value귀무가설을 지지하는 정도를 확률로 표현한 것이다.

빅데이터 탐색 / 통계기법의 이해 / 기술통계

전수조사모집단 전체를 대상으로 조사하는 것이다. 표본조사일부의 표본으로 조사분석을 시행하고 모집단 전체의 분석결과로 사용한다. 단순무작위 추출(Simple Random Sampling)모집단에 대해 사전지식이 많지 않을 경우 시행하며 모집단으로부터 무작위 추출하는 통계조사에서 가장 기본이 되는 표본추출법이다. 계통추출(Systematic Sampling)모집단에서 추출간격을 설정하여 간격 사이에서 무작위로 추출하는 방법이다. 층화추출(Stratified Sampling)모집단을 층으로 나누어 층별로 배정된 표본을 추출하는 방법이다. 군집추출(Cluster Sampling)모집단을 여러개의 군집으로 나누어 군집의 일부 또는 전체에 대한 분석을 시행한다. 정규분포평균을 중심으로 대칭이며 종모양인 그래프를 띤..

빅데이터 탐색 / 데이터 탐색 / 고급 데이터 탐색

독립변수종속변수에 영향을 줄 것으로 예상되거나 종속 변수의 변화를 예측할 수 있다고 여겨지는 변수이다. 종속변수독립변수의 변화에 의해 영향을 받을 것으로 기대되는 변수이다.  다중회귀(Multiple Regression)독립변수가 2개 이상인 회귀모형을 지칭하며 각 독립변수는 종속변수와 선형관계가 있다고 가정한다. 로지스틱 회귀(Logistic Regression).종속변수가 이항형 문제를 지칭할 때 사용한다. 분산분석(ANOVA:Analysis of Variance) 공분산(Covariance)두 개의 확률 변수의 상관정도를 나타내는 값으로 공분산이 0이면 두 변수 간의 선형적인 관계가 없음을 의미하나 두 변수가 완전히 독립적이라는 것은 아니다. 군집분석(Cluster Analysis)모집단 또는 범주..

빅데이터 탐색 / 데이터 탐색 / 고급 데이터 탐색

독립변수종속변수에 영향을 줄 것으로 예상되거나 종속 변수의 변화를 예측할 수 있다고 여겨지는 변수이다. 종속변수독립변수의 변화에 의해 영향을 받을 것으로 기대되는 변수이다.  다중회귀(Multiple Regression)독립변수가 2개 이상인 회귀모형을 지칭하며 각 독립변수는 종속변수와 선형관계가 있다고 가정한다. 로지스틱 회귀(Logistic Regression).종속변수가 이항형 문제를 지칭할 때 사용한다. 분산분석(ANOVA:Analysis of Variance) 공분산(Covariance)두 개의 확률 변수의 상관정도를 나타내는 값으로 공분산이 0이면 두 변수 간의 선형적인 관계가 없음을 의미하나 두 변수가 완전히 독립적이라는 것은 아니다. 군집분석(Cluster Analysis)모집단 또는 범주..

빅데이터 탐색 / 데이터 탐색 / 데이터 탐색의 기초

EDA (Exploratory Data Analysis) 탐색적 데이터 분석수집한 데이터를 다양한 방법을 통해서 관찰하고 이해하는 과정을 의미한다. 내재된 잠재적 문제에 대해 인식하고 해결안을 도출 할 수 있다.  상관분석2개 이상의 변수의 관계가 유의한지 확인하는 분석이다. 상관계수x,y 사이의 상관관계의 정도를 나타내는 수치이다. 종류로는 피어슨, 스피어만이 있다. 산점도좌표계를 이용해 두 개 변수간의 관계를 나타내는 방법이다. 산포도변량이 흩어져 있는 정도를 하나의 수로 나타내는 값이다.  기초통계자료의 특성을 정량적인 수치에 의해서 나타내는 방법이다. 자료의 특성을 중심화 경향, 퍼짐 정도, 자료의 분포형태등의 수치적 결과로 나타낼 수 있다. 중심화 경향에는 산술평균(Arithmetic Mean)..

빅데이터 탐색 / 데이터 전처리 / 분석 변수 처리

회귀변수 X와 Y의 관계를 함수식으로 설명하는 통계적 방법이다. 상관계수두 변수 간 연관성을 나타내는 수치이다. 차원축소특정 목적에 따라서 변수(데이터 종류)의 양을 중이는 것이다. 과적합학습 데이터를 과하게 학습하는 것이다. 주성분 분석 (PCA : Principal Component Analysis) 파생변수기존의 변수를 조합하여 만들어진 새로운 변수이다. 인코딩레이블 인코딩(Label Encoding), 원-핫 인코딩(One-Hot Encoding), 타깃 인코딩(Target Encoding)

빅데이터 탐색 / 데이터 전처리 / 데이터 정제

MCAR결측이 다른 데이터에 영향이 없는 것이다. MAR결측이 특정 변수와 관련되어 발생하지만 결과에는 영향이 없는 것이다. NMAR결측이 다른 데이터에 영향이 있는 것이다. 결측값 처리 방법단순 대치법완전분석, 평균 대치법, 회귀 대치법, 단순확률 대치법, 최근접 대치법 다중 대치법단순 대치법을 복수로 실행하는 것이다.  이상치데이터 전처리 과정에서 정상의 범주에서 벗어난 값을 의미한다.

빅데이터분석기획 / 데이터 수집 및 저장 계획 / 데이터 적재 및 저장

HDFS(hadoop distributed file system)FluentdFlumeScribeLogstash sharding데이터를 분할하여 다른 서버에 저장하는 과정이다. 스트리밍 데이터빠르고  연속적, 대용량, 다양한 장소에서 발생하는 데이터이다.

빅데이터분석기획 / 데이터 수집 및 저장 계획 / 데이터 수집 및 전환

M2M(machine to machine)LOD(linked open data)ERP(enterprise resource planning)CRM(customer relationship management) 데이터 수집 기술정형 데이터ETL, FTP, API, DB to DB, 스쿱(sqoop)비정형 데이터크롤링, RSS, Open API, Chukwa, Kafka반정형 데이터Flume, Scribe, Sencing, Streaming 비식별화가명처리, 총계처리, 데이터삭제, 데이터 범주화, 데이터 마스킹 정형 데이터 품질 기준완전성, 유일성, 일관성, 유효성, 정확성 비정형 데이터 품질 기준기능성, 신뢰성, 사용성, 효율성, 이식성