타코야끼 기술 블로그

2과목 정리

표본 평균주어진 데이터의 총합을 데이터의 개수로 나눈 값 => (2+4+6)/3 = 4 표본 분산각 데이터와 표본평균 간의 차이를 제곱하여 모두 더한 후 (데이터의 개수-1)로 나눈 값((2-4)^2 + (4-4)^2 + (6-4)^2) / 2 = 4 원-핫 인코딩범주에 해당하는 인덱스만 1이고 나머지는 0인 벡터로 변환한다. 사과 : [1,0,0] , 바나나 : [0,1,0], 딸기 : [0,0,1] 차원분석 데이터 종류 파생변수기존 변수들을 기반으로 새로운 변수를 만드는 것 PCA고차원 데이터를 저차원으로 변환하여 데이터의 구조를 더 잘 이해하고, 분석 및 시각화하기 쉽게 만드는 차원 축소 기법 연속형 변수값 사이에 무한한 값을 가질 수 있는 것, 키,몸구게 등이 있다. 형액형은 4가지로 지정되어 있..

1과목 정리

사분면 분석정착형(준비도 낮음, 성숙도 높음)확산형(준비도 높음, 성숙도 높음)준비형(준비도 낮음, 성숙도 낮음)도입형 (준비도 높음, 성숙도 낮음) 분석 준비도분석 업무, 분석 인력 및 조직, 분석 기법, 분석 데이터, 분석 문화, 분석 인프라 6가지 영역으로 구성 거버넌스 구성요소원칙, 조직, 프로세스   분석 마스터 플랜과제의 목적이나 목표에 따라 전체적인 방향성을 제시하는 기본계획 데이터 분석 조직집중형 : 전사 분석 업무를 별도의 전담조직에서 수행하는 조직기능형 : 각 현업 부서에서 분석 업무를 직접 수행한다.분산형 : 분석 전문 인력을 현업 부서에 배치하여 분석 업무를 수행한다. ETL OLAP Hadoop Data Mart EDA다양한 방법으로 데이터를 관찰하고 이해하는 과정 PCAEDA방법..

빅데이터 결과 해석 / 분석결과 해석 및 활용 / 분석결과 활용

빅데이터 분석 방법론분석기획, 데이터준비, 데이터 분석, 시스템 구현, 평가 및 전개

빅데이터 결과 해석 / 분석결과 해석 및 활용 / 분석결과 시각화

정보 시각화방대한 양의 정보를 한번에 사용자가 보고 이해할 수 있도록 직관적으로 표현하는 방법이다. 정보 디자인정보를 효과적으로 전달하기 위해서 그래픽 디자인을 강조한다. 인포그래픽차트, 지도, 픽토그램, 다이어그램 등을 활용하여 한눈에 파악할 수 있도록 시각적으로 표현한 것이다.  픽토그램의미를 쉽게 알 수 있도록 만들어진 그림문자를 말한다. 히트맵 체르노프 페이스 스타차트 평행좌표계 다차원척도법 유클리드 거리

빅데이터 결과 해석 / 분석결과 해석 및 활용 / 분석결과 해석

분석모델분석 모델의 종류로는 회귀 모델, 분류 모델, 군집분석 모델, 연관분석 모델이 있다.

빅데이터 결과 해석 / 분석모형 평가 및 개선 / 분석모형 개선

성능평가지표성능평가지표의 종류로는 특이도, 정밀도, 민감도, 정확도가 있다.

빅데이터 결과 해석 / 분석모형 평가 및 개선 / 분석모형 평가

오차행렬예측값과 실제값을 비교하기 위한 표이다. 실제 답예측 결과TPFPFNTNTP : 실제 True인 답을 True라고 예측 (정답)FP : 실제 False인 답을 True라고 예측 (오답)FN : 실제 True인 답을 False라고 예측 (오답)TN : 실제 Flase 답을 False라고 예측 (정답) 정확도실제 데이터와 예측 데이터를 비교하여 같은지 판단하며 공식은 (TP + TN) / (TP + FP + TN + FN) 이다. 정밀도Positive로 예측한 대상 중에 실제로 Positive인 값의 비율이다. 공식은 TP / (TP + FP) 이다. 민감도실제 Positive인 대상 중에 Positive로 정확하게 예측한 값의 비율이다. 공식은 TP / (TP + EN)이다. 특이도실제로 음성인 것..

빅데이터 모델링 / 분석 기법 적용 / 고급 분석기법

카이제곱검정 t-검정 다변량분석(Multivariate Analysis)대상에 대한 다수의 측정치를 동시에 분석하는 모든 통계적 방법이다. 기법으로는 다중회귀분석(Multi Regression), 다변량분산분석( ANOVA ), 다변량공분산분석(ANCOVA), 정준상관분석(Canonical Analysis), 요인분석(Factor Analysis), 군집분석, 다중판별분석, 다차원척도법이 있다. 시계열 분석 경사하강법 딥러닝여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계 학습 알고리즘의 집합으로 정의한다. 알고리즘으로는 심층 신경망(DNN), 합성곱 신경망(CNN), 순환 신경망(RNN), 심층 신뢰 신경망(DBN)이 있다. 인공신경망(ANN) 자연어 처리 앙상블 분석주어진 자료로..

빅데이터 모델링 / 분석 기법 적용 / 분석기법

지도학습(Supervised Learning)입력값이 주어질 때 정답이 무엇인지 알려주면서 컴퓨터를 학습시키는 방법이다. 대표적으로 분류(Classification)와 회귀(Regression)로 구분할 수 있다. 비지도학습(Unsupervised Leaining)정답 없는 데이터를 컴퓨터 스스로 학습하여 숨겨진 의미, 패턴을 찾아내는 방법이다. 준지도학습(Semi-supervised Learning)정답이 있는 데이터와 정답이 없는 데이터를 동시에 학습에 사용하는 기법이다. 강화학습(Reinforcement Leaning)주어진 환경에서 보상을 최대화하도록 에이전트를 학습하는 기법이다. 회귀분석특정 변수가 다른 변수에 어떤 영향을 미치는지를 수학적 모형으로 설명, 예측하는 기법으로 독립변수로 종속변수를..

빅데이터 모델링 / 분석 모형 설계 / 분석 환경 구축

학습 데이터(training data)데이터를 학습하여 분석 모형을 만드는데 사용되는 데이터이다. 평가 데이터(validation data) 검증 데이터(test data) 과대적합(Overfitting) 과소적합(Underfitting)