1장. 데이터 분석 개요1절) 데이터 분석 기법의 이해 ㅇ데이터 처리 과정 - 데이터 분석을 위해서는 데이터웨어하우스(DW)나 데이터마트(DM)를 통해 분석 데이터를 구성 - 신규데이터나 DW에 없는 데이터는 기존 운영시스템(legacy)에서 직접 가져오거나 운영데이터저장소(ODS)에서 정제된 데이터를 가져와서 DW의 데이터와 결합하여 활용 ㅇ시각화 기법 - 가장 낮은 수준의 분석이지만 잘 사용하면 복잡한 분석보다 더 효율적, 대용량 데이터를 다룰 때와 탐색적 분석을 할 때 시각화는 필요 ㅇ공간분석(GIS) - 공간적 차원과 관련된 속성들을 시각화하는 분석으로 지도 위에 관련된 속성들을 생성하고 크기,모양,선 굵기 등으로 구분하여 인사이트를 얻음 ㅇ탐색적 자료분석(EDA : Exploratory data..
1장. 데이터 분석 기획의 이해ㅇ데이터 유형 - 정형 : 정형된 DB 형태의 데이터 - 반정형 : 센서, 스트리밍, 머신 데이터 - 비정형 : 소셜 데이터 ㅇ분석 기획 - 실제 분석을 수행하기에 앞서 분석을 수행할 과제를 정의하고, 의도했던 결과를 도출할 수 있도록 이를 적절하게 관리할 수 있는 방안을 사전에 계획하는 일련의 작업 ㅇ 데이터 사이언티스트의 역량 - 수학/통계학적 지식 - 정보기술(IT,해킹,통신 기술 등) - 해당 비즈니스의 이해 ㅇ분석 대상과 방법 ㅇ분석 기획 시 고려사항 - 가용 데이터에 대한 고려 필요 - 적절한 활용방안과 유즈케이스 탐색 필요 - 발생 가능한 장애요소들에 대한 사전 계획 수립 필요 ㅇ 방법론의 구성 - 절차(Procedures) - 방법(Methods) - 도구와 ..
1장. 데이터의 이해ㅇ데이터 정의 - 존재적 특성 : 객관적 사실 - 당위적 특성 : 추론, 예측, 전망, 추정을 위한 근거 ㅇ데이터 특징 - 정성적 데이터 : 언어, 문자 형태의 데이터 (회사 매출의 증가 등) - 정량적 데이터 : 수치, 도형, 기호 형태의 데이터 (나이, 몸무게, 주가 등) ㅇ지식 - 암묵지 : 학습과 경험을 통해 개인에 체화된 지식, 공유와 전달의 어려움 (내면화->공통화 필요) - 형식지 : 문서나 메뉴얼처럼 형식화된 지식, 공유와 전달이 용이 (표출화->연결화 필요) ㅇ DIKW 피라미드 - 데이터 (가공하기 전의 순수한 수치나 기호) -> 정보 (데이터의 가공 및 상관관계간 이해를 통해 패턴을 인식하고 그 의미를 부여) -> 지식 (상호 연결된 정보 패턴을 이해하여 이를 토대..
1. 데이터 이해기출“A마트의 다른 상품들도 B마트보다 쌀 것이라고 판단”지혜데이터 사이언티스트가 갖춰야 할 역량은 빅데이터의 처리 및 분석에 필요한 이론적 지식과 기술적 숙련에 관련된 능력인 (ㄱ) skill과 데이터 속에 숨겨진 가치를 발견하고 새로운 발전 기회를 만들어 내기 위한 능력인 (ㄴ) skill로 나누어진다.(ㄱ) Hard (ㄴ) Soft(ㄱ)는 데이터의 가공 및 상관관계 간 이해를 통해 패턴을 인식하고 그 의미를 부여한 것이며, 지식을 도출하기 위한 재료(ㄱ) 정보기업의 의사결정 과정을 지원하기 위한 주제 중심적으로 통합적이며 시간성을 가지는 비휘발성 데이터의 집합을 (ㄱ)라고 한다.(ㄱ) 데이터 웨어하우스지난 몇 년간 여러 사일로 대신 하나의 데이터 소스를 추구하는 경향이 생겼다. 전사..