본문 바로가기

분류 전체보기23

[빅분기] 빅데이터 기술 빅데이터 플랫폼 빅데이터에서 가치를 추출하기 위해 일련의 과정(수집 -> 저장 -> 분석 -> 활용)을 규격화한 기술 특화된 분석을 지원하는 빅데이터 플랫폼이 발전하는 추세 (예 : 의료, 환경, 범죄, 자동차 등) 빅데이터 플랫폼 구성요소 데이터 수집 : 원천 데이터의 정형, 반정형, 비정형 데이터 수집(ETL, 크롤러, EAI 등) 데이터 저장 : 정형 데이터, 반정형 데이터, 비정형 데이터 저장(RDBMS, NoSQL 등) 데이터 분석 : 텍스트 분석, 머신러닝, 통계, 데이터 마이닝(SNS분석, 예측 분석 등) 데이터 활용 : 데이터 가시화 및 BI, Open API 연계 하둡 에코 시스템(Hadoop Ecosystem) 하둡 프레임워크를 이루고 있는 다양한 서브 프로젝트들의 집합 수집, 저장, .. 2022. 8. 28.
[빅분기] 빅데이터 조직 및 구성 빅데이터 업무 프로세스 빅데이터 도입 단계 : 빅데이터 서비스를 제공하기 위해서는 빅데이터 시스템 구축을 위한 빅데이터 도입 기획, 기술 검토, 도입 조직 구성, 예산 확보 등을 수행 빅데이터 구축 단계 : 빅데이터 플랫폼을 구축하기 위해서는 요구사항 분석, 설계, 구현, 테스트 단계를 수행 빅데이터 운영 단계 : 빅데이터 시스템의 도입 및 구축이 끝나면, 이를 인수하여 운영 계획을 수립. 빅데이터 플랫폼 운영, 데이터 및 빅데이터 분석 모델 운영, 빅데이터 운영 조직, 빅데이터 운영 예산 고려 조직 구조 설계의 요소 업무 활동 : 조직의 미션과 목적을 달성하기 위하여 과업 수행을 위해 수직 업무 활동과 수평 업무 활동으로 구분 수직 업무 활동 : 경영 계획, 예산 할당 등 우선순위를 결정 수평 업무 활.. 2022. 8. 28.
[빅분기] 빅데이터란? 빅데이터의 개념 1. 빅데이터는 막대한 양(수십테라바이트 이상)의 정형 및 비정형 데이터. 2. 데이터로부터 가치를 추출하고 결과를 분석하는 기술의 의미 3. 데이터에서부터 가치를 추출하는 것은 통찰, 지혜를 얻는 과정으로 Ackoff, R.L. 이 도식화한 DIKW 피라미드로 표현 4. 데이터를 수집, 저장, 관리, 분석하는 기존의 관리 방법으로는 막대한 양(수십 ㅌ테라바이트 이상)의 데이터를 처리하기 어려울 때 빅데이터를 사용 DIKW 피라미드 피라미드 요소 설명 데이터(Data) * 객관적 사실로서 다른 데이터와의 상관관계가 없는 가공하기 전의 순수한 수치나 기호 정보(Information) * 가공, 처리하여 데이터 간의 연관 관계와 함께 의미가 도출된 요소 지식(Knowledge) * 획득된 다.. 2022. 8. 28.