티스토리

타코야끼 기술 블로그

검색하기

블로그 홈

타코야끼 기술 블로그

tacoyaggi.tistory.com/m

tacoyaggi 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

2과목 정리 표본 평균주어진 데이터의 총합을 데이터의 개수로 나눈 값 => (2+4+6)/3 = 4 표본 분산각 데이터와 표본평균 간의 차이를 제곱하여 모두 더한 후 (데이터의 개수-1)로 나눈 값((2-4)^2 + (4-4)^2 + (6-4)^2) / 2 = 4 원-핫 인코딩범주에 해당하는 인덱스만 1이고 나머지는 0인 벡터로 변환한다. 사과 : [1,0,0] , 바나나 : [0,1,0], 딸기 : [0,0,1] 차원분석 데이터 종류 파생변수기존 변수들을 기반으로 새로운 변수를 만드는 것 PCA고차원 데이터를 저차원으로 변환하여 데이터의 구조를 더 잘 이해하고, 분석 및 시각화하기 쉽게 만드는 차원 축소 기법 연속형 변수값 사이에 무한한 값을 가질 수 있는 것, 키,몸구게 등이 있다. 형액형은 4가지로 지정되어 있.. 공감수 0 댓글수 0 2024. 9. 3.
1과목 정리 사분면 분석정착형(준비도 낮음, 성숙도 높음)확산형(준비도 높음, 성숙도 높음)준비형(준비도 낮음, 성숙도 낮음)도입형 (준비도 높음, 성숙도 낮음) 분석 준비도분석 업무, 분석 인력 및 조직, 분석 기법, 분석 데이터, 분석 문화, 분석 인프라 6가지 영역으로 구성 거버넌스 구성요소원칙, 조직, 프로세스 분석 마스터 플랜과제의 목적이나 목표에 따라 전체적인 방향성을 제시하는 기본계획 데이터 분석 조직집중형 : 전사 분석 업무를 별도의 전담조직에서 수행하는 조직기능형 : 각 현업 부서에서 분석 업무를 직접 수행한다.분산형 : 분석 전문 인력을 현업 부서에 배치하여 분석 업무를 수행한다. ETL OLAP Hadoop Data Mart EDA다양한 방법으로 데이터를 관찰하고 이해하는 과정 PCAEDA방법.. 공감수 0 댓글수 0 2024. 9. 3.
빅데이터 결과 해석 / 분석결과 해석 및 활용 / 분석결과 활용 빅데이터 분석 방법론분석기획, 데이터준비, 데이터 분석, 시스템 구현, 평가 및 전개 공감수 0 댓글수 0 2024. 8. 29.
빅데이터 결과 해석 / 분석결과 해석 및 활용 / 분석결과 시각화 정보 시각화방대한 양의 정보를 한번에 사용자가 보고 이해할 수 있도록 직관적으로 표현하는 방법이다. 정보 디자인정보를 효과적으로 전달하기 위해서 그래픽 디자인을 강조한다. 인포그래픽차트, 지도, 픽토그램, 다이어그램 등을 활용하여 한눈에 파악할 수 있도록 시각적으로 표현한 것이다. 픽토그램의미를 쉽게 알 수 있도록 만들어진 그림문자를 말한다. 히트맵 체르노프 페이스 스타차트 평행좌표계 다차원척도법 유클리드 거리 공감수 0 댓글수 0 2024. 8. 29.
빅데이터 결과 해석 / 분석결과 해석 및 활용 / 분석결과 해석 분석모델분석 모델의 종류로는 회귀 모델, 분류 모델, 군집분석 모델, 연관분석 모델이 있다. 공감수 0 댓글수 0 2024. 8. 29.
빅데이터 결과 해석 / 분석모형 평가 및 개선 / 분석모형 개선 성능평가지표성능평가지표의 종류로는 특이도, 정밀도, 민감도, 정확도가 있다. 공감수 0 댓글수 0 2024. 8. 29.
빅데이터 결과 해석 / 분석모형 평가 및 개선 / 분석모형 평가 오차행렬예측값과 실제값을 비교하기 위한 표이다. 실제 답예측 결과TPFPFNTNTP : 실제 True인 답을 True라고 예측 (정답)FP : 실제 False인 답을 True라고 예측 (오답)FN : 실제 True인 답을 False라고 예측 (오답)TN : 실제 Flase 답을 False라고 예측 (정답) 정확도실제 데이터와 예측 데이터를 비교하여 같은지 판단하며 공식은 (TP + TN) / (TP + FP + TN + FN) 이다. 정밀도Positive로 예측한 대상 중에 실제로 Positive인 값의 비율이다. 공식은 TP / (TP + FP) 이다. 민감도실제 Positive인 대상 중에 Positive로 정확하게 예측한 값의 비율이다. 공식은 TP / (TP + EN)이다. 특이도실제로 음성인 것.. 공감수 0 댓글수 0 2024. 8. 29.
빅데이터 모델링 / 분석 기법 적용 / 고급 분석기법 카이제곱검정 t-검정 다변량분석(Multivariate Analysis)대상에 대한 다수의 측정치를 동시에 분석하는 모든 통계적 방법이다. 기법으로는 다중회귀분석(Multi Regression), 다변량분산분석( ANOVA ), 다변량공분산분석(ANCOVA), 정준상관분석(Canonical Analysis), 요인분석(Factor Analysis), 군집분석, 다중판별분석, 다차원척도법이 있다. 시계열 분석 경사하강법 딥러닝여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계 학습 알고리즘의 집합으로 정의한다. 알고리즘으로는 심층 신경망(DNN), 합성곱 신경망(CNN), 순환 신경망(RNN), 심층 신뢰 신경망(DBN)이 있다. 인공신경망(ANN) 자연어 처리 앙상블 분석주어진 자료로.. 공감수 0 댓글수 0 2024. 8. 28.
빅데이터 모델링 / 분석 기법 적용 / 분석기법 지도학습(Supervised Learning)입력값이 주어질 때 정답이 무엇인지 알려주면서 컴퓨터를 학습시키는 방법이다. 대표적으로 분류(Classification)와 회귀(Regression)로 구분할 수 있다. 비지도학습(Unsupervised Leaining)정답 없는 데이터를 컴퓨터 스스로 학습하여 숨겨진 의미, 패턴을 찾아내는 방법이다. 준지도학습(Semi-supervised Learning)정답이 있는 데이터와 정답이 없는 데이터를 동시에 학습에 사용하는 기법이다. 강화학습(Reinforcement Leaning)주어진 환경에서 보상을 최대화하도록 에이전트를 학습하는 기법이다. 회귀분석특정 변수가 다른 변수에 어떤 영향을 미치는지를 수학적 모형으로 설명, 예측하는 기법으로 독립변수로 종속변수를.. 공감수 1 댓글수 0 2024. 8. 27.
빅데이터 모델링 / 분석 모형 설계 / 분석 환경 구축 학습 데이터(training data)데이터를 학습하여 분석 모형을 만드는데 사용되는 데이터이다. 평가 데이터(validation data) 검증 데이터(test data) 과대적합(Overfitting) 과소적합(Underfitting) 공감수 0 댓글수 0 2024. 8. 27.
빅데이터 모델링 / 분석 모형 설계 / 분석 절차 수립 상향식 접근문제 정의가 어려울 경우 많은 양의 데이터 분석을 통해 인사이트를 도출한다. 하향식 접근문제 정의가 가능할시에 사용한다. 유의수준귀무가설이 참인데 기각할 확률값이다. 공감수 0 댓글수 0 2024. 8. 27.
빅데이터 탐색 / 통계기법의 이해 / 추론통계 추정(estimation)표본을 통해 모집단 특성이 어떠한가에 대해 추측하는 과정이다. 가설검정(testing hypothesis)가설을 설정하고 모집단으로부터 추출된 표본을 분석함으로써 가설이 올바른지 판정하는 과정을 나타낸다. 모수(parameter)모집단의 특성을 수치화하여 나타낸 것이다. 점추정(Point Estimate) 구간추정 귀무가설현재 믿어지고 있는 가설이다. 대립가설귀무가설을 반박하려는 가설이다. 1종오류귀무가설이 진실일 때 귀무가설을 기각하도록 결정하는 오류이다. 2종오류귀무가설이 거짓일 때 귀무가설을 채택하는 오류이다. p-value귀무가설을 지지하는 정도를 확률로 표현한 것이다. 공감수 0 댓글수 0 2024. 8. 27.
빅데이터 탐색 / 통계기법의 이해 / 기술통계 전수조사모집단 전체를 대상으로 조사하는 것이다. 표본조사일부의 표본으로 조사분석을 시행하고 모집단 전체의 분석결과로 사용한다. 단순무작위 추출(Simple Random Sampling)모집단에 대해 사전지식이 많지 않을 경우 시행하며 모집단으로부터 무작위 추출하는 통계조사에서 가장 기본이 되는 표본추출법이다. 계통추출(Systematic Sampling)모집단에서 추출간격을 설정하여 간격 사이에서 무작위로 추출하는 방법이다. 층화추출(Stratified Sampling)모집단을 층으로 나누어 층별로 배정된 표본을 추출하는 방법이다. 군집추출(Cluster Sampling)모집단을 여러개의 군집으로 나누어 군집의 일부 또는 전체에 대한 분석을 시행한다. 정규분포평균을 중심으로 대칭이며 종모양인 그래프를 띤.. 공감수 0 댓글수 0 2024. 8. 26.
빅데이터 탐색 / 데이터 탐색 / 고급 데이터 탐색 독립변수종속변수에 영향을 줄 것으로 예상되거나 종속 변수의 변화를 예측할 수 있다고 여겨지는 변수이다. 종속변수독립변수의 변화에 의해 영향을 받을 것으로 기대되는 변수이다. 다중회귀(Multiple Regression)독립변수가 2개 이상인 회귀모형을 지칭하며 각 독립변수는 종속변수와 선형관계가 있다고 가정한다. 로지스틱 회귀(Logistic Regression).종속변수가 이항형 문제를 지칭할 때 사용한다. 분산분석(ANOVA:Analysis of Variance) 공분산(Covariance)두 개의 확률 변수의 상관정도를 나타내는 값으로 공분산이 0이면 두 변수 간의 선형적인 관계가 없음을 의미하나 두 변수가 완전히 독립적이라는 것은 아니다. 군집분석(Cluster Analysis)모집단 또는 범주.. 공감수 0 댓글수 0 2024. 8. 26.
빅데이터 탐색 / 데이터 탐색 / 고급 데이터 탐색 독립변수종속변수에 영향을 줄 것으로 예상되거나 종속 변수의 변화를 예측할 수 있다고 여겨지는 변수이다. 종속변수독립변수의 변화에 의해 영향을 받을 것으로 기대되는 변수이다. 다중회귀(Multiple Regression)독립변수가 2개 이상인 회귀모형을 지칭하며 각 독립변수는 종속변수와 선형관계가 있다고 가정한다. 로지스틱 회귀(Logistic Regression).종속변수가 이항형 문제를 지칭할 때 사용한다. 분산분석(ANOVA:Analysis of Variance) 공분산(Covariance)두 개의 확률 변수의 상관정도를 나타내는 값으로 공분산이 0이면 두 변수 간의 선형적인 관계가 없음을 의미하나 두 변수가 완전히 독립적이라는 것은 아니다. 군집분석(Cluster Analysis)모집단 또는 범주.. 공감수 1 댓글수 0 2024. 8. 26.
빅데이터 탐색 / 데이터 탐색 / 데이터 탐색의 기초 EDA (Exploratory Data Analysis) 탐색적 데이터 분석수집한 데이터를 다양한 방법을 통해서 관찰하고 이해하는 과정을 의미한다. 내재된 잠재적 문제에 대해 인식하고 해결안을 도출 할 수 있다. 상관분석2개 이상의 변수의 관계가 유의한지 확인하는 분석이다. 상관계수x,y 사이의 상관관계의 정도를 나타내는 수치이다. 종류로는 피어슨, 스피어만이 있다. 산점도좌표계를 이용해 두 개 변수간의 관계를 나타내는 방법이다. 산포도변량이 흩어져 있는 정도를 하나의 수로 나타내는 값이다. 기초통계자료의 특성을 정량적인 수치에 의해서 나타내는 방법이다. 자료의 특성을 중심화 경향, 퍼짐 정도, 자료의 분포형태등의 수치적 결과로 나타낼 수 있다. 중심화 경향에는 산술평균(Arithmetic Mean).. 공감수 0 댓글수 0 2024. 8. 26.
빅데이터 탐색 / 데이터 전처리 / 분석 변수 처리 회귀변수 X와 Y의 관계를 함수식으로 설명하는 통계적 방법이다. 상관계수두 변수 간 연관성을 나타내는 수치이다. 차원축소특정 목적에 따라서 변수(데이터 종류)의 양을 중이는 것이다. 과적합학습 데이터를 과하게 학습하는 것이다. 주성분 분석 (PCA : Principal Component Analysis) 파생변수기존의 변수를 조합하여 만들어진 새로운 변수이다. 인코딩레이블 인코딩(Label Encoding), 원-핫 인코딩(One-Hot Encoding), 타깃 인코딩(Target Encoding) 공감수 0 댓글수 0 2024. 8. 20.
빅데이터 탐색 / 데이터 전처리 / 데이터 정제 MCAR결측이 다른 데이터에 영향이 없는 것이다. MAR결측이 특정 변수와 관련되어 발생하지만 결과에는 영향이 없는 것이다. NMAR결측이 다른 데이터에 영향이 있는 것이다. 결측값 처리 방법단순 대치법완전분석, 평균 대치법, 회귀 대치법, 단순확률 대치법, 최근접 대치법 다중 대치법단순 대치법을 복수로 실행하는 것이다. 이상치데이터 전처리 과정에서 정상의 범주에서 벗어난 값을 의미한다. 공감수 0 댓글수 0 2024. 8. 20.
빅데이터분석기획 / 데이터 수집 및 저장 계획 / 데이터 적재 및 저장 HDFS(hadoop distributed file system)FluentdFlumeScribeLogstash sharding데이터를 분할하여 다른 서버에 저장하는 과정이다. 스트리밍 데이터빠르고 연속적, 대용량, 다양한 장소에서 발생하는 데이터이다. 공감수 0 댓글수 0 2024. 8. 20.
빅데이터분석기획 / 데이터 수집 및 저장 계획 / 데이터 수집 및 전환 M2M(machine to machine)LOD(linked open data)ERP(enterprise resource planning)CRM(customer relationship management) 데이터 수집 기술정형 데이터ETL, FTP, API, DB to DB, 스쿱(sqoop)비정형 데이터크롤링, RSS, Open API, Chukwa, Kafka반정형 데이터Flume, Scribe, Sencing, Streaming 비식별화가명처리, 총계처리, 데이터삭제, 데이터 범주화, 데이터 마스킹 정형 데이터 품질 기준완전성, 유일성, 일관성, 유효성, 정확성 비정형 데이터 품질 기준기능성, 신뢰성, 사용성, 효율성, 이식성 공감수 0 댓글수 0 2024. 8. 19.
빅데이터분석기획 / 데이터 분석 계획 / 분석 작업 계획 데이터 처리 프로세스데이터 소스 -> 데이터 수집 -> 데이터 저장 -> 데이터 처리 -> 데이터 분석 -> 데이터 표현 데이터 처리 영역데이터소스, 데이터 수집, 데이터 저장, 데이터 처리 데이터 분석 영역데이터 분석, 데이터 표현 훈련 데이터셋, 검증 데이터셋, 테스트 데이터셋 FGI(Focused Group Interview)작은 구릅의 참가자들을 모아 집단적인 토론을 통해 데이터를 수집하는 방법이다. 빅데이터 특징Volume, Variety, Velocity, Veracity, Value 전처리(preprocessing)데이터를 가공하는 행위이다. 공감수 0 댓글수 0 2024. 8. 19.
빅데이터분석기획 / 데이터 분석 계획 / 분석 방안 수립 분석 대상 분석 대상 (what)분석 방식(how)OptimizationInsightSolutionDiscovery ROI (Return Of Inverstment)ROI = Return / InvestmentInvestment = 데이터 크기(Volume), 데이터 형태(Variety), 데이터 속도(Velocity)Return = 새로운 가치(Value) 하향식 분석 방식, 상향식 분석 방식 이상값일반적 추세에서 많이 벗어나는 값이다. 빅데이터 분석 방법론 개발절차분석 기획 -> 데이터 준비 -> 데이터 분석 -> 시스템 구현 -> 평가 및 전개 데이터 분석 조직구조집중형 조직구조, 기능형 조직구조, 분산형 조직구조 Meta Data다른데이터를 설명하기위한 데이터 Mash-Up여러 웹서비스 업체들이 .. 공감수 0 댓글수 0 2024. 8. 19.
빅데이터분석기획/빅데이터이해/빅데이터 기술 및 제도 빅데이터 플랫폼 구조소프트웨어 계층 : 데이터 처리 및 분석과 데이터 수집, 정제한다.플랫폼 계층 : 작업 스케줄링이나 데이터 및 자원 할당과 관리한다.인프라스트럭처 계층 : 노드 및 네트워크를 통해 빅데이터 처리와 분석에 필요한 자원을 제공한다. 빅데이터 처리 과정생성 -> 수집 -> 저장 -> 처리 -> 분석 -> 시각화 ETL(Extract Transform Load) 프로세스데이터 추출 -> 가공 -> 적재 구성되어 있고 다양한 유형의 데이터를 취합하여 공통된 형식으로 변환하여 적재하는 과정을 의미한다. 맵리듀스(MapReduce)구글에서 개발한 프로그래밍 모델로 효과적인 병렬 및 분산 처리를 지원한다. 빅데이터 처리 과정에서 처리 단계에 주로 사용 된다. 마이닝데이터로부터 통계적인 의미가 있는 .. 공감수 0 댓글수 0 2024. 8. 14.
빅데이터분석기획/빅데이터이해/빅데이터 개요 및 활용 데이터관찰하거나 수집하여 얻은 값으로 개별 데이터로는 그 의미가 중요하지 않은 객관적 사실이다. 정보데이터를 가공하여 데이터 간 관계를 분석하고 그 속에서 도출된 의미이다. 지식 정보에 개인적인 경험을 결합시켜 내재화한 결과물이다. 지혜축적된 지식에 아이디어를 결합하여 도출한 결과물이다. 정형 데이터정해진 형식과 구조에 맞게 저장되도록 구성된 데이터로 연산이 가능하다. RDBMS의 데이터들이 대표적이다. 반정형 데이터스키마 정보를 데이터와 함께 제공하는 파일 형식의 데이터이며 연산이 불가능하다. JSON, XML, HTML이 반정형 데이터에 속한다. 비정형 데이터구조가 정해지지 않은 데이터로 연산이 불가능하다. 종류로는 동영상, 이미지, 음성이 대표적이다. 데이터 마트데이터 웨어하우스에서 데이터를 꺼내.. 공감수 0 댓글수 0 2024. 8. 14.
필기 / 목차 분석 Part1 빅데이터 분석 기획1. 빅데이터 이해- ETL, 가트너 3V, 데이터사이언티스트, 데이터 웨어하우스, 빅데이터 가치, 마이데이터, 데이터 분석 조직구조- 딥러닝, 분석 5단계, 지도학습, 비식별화, 개인정보보호법, 데이터 거버넌스, 하둡, GDPR, API 게이트웨이, 스파크, 전이학습 2. 데이터 분석 계획- EDA, 데이터 분석 기획, 절차, 접근 방법, 모델링, 진단분석, 분석 성숙도, 시급성, 메타 데이터- 이상값, 데이터 수집, 분석 단계, 프로젝트 관리 3. 데이터 수집 및 저장 계획- 정형 데이터 품질 보증, 민감 정보, 데이터 품질, 비식별 조치- NoSQL, HDFS, 제타바이트, 저장 시스템 Part2 빅데이터 탐색1. 데이터 전처리- 데이터 정제, 이상치 판단- 변수 선택,.. 공감수 0 댓글수 0 2024. 8. 13.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.