[빅분기] 빅데이터란?

빅데이터의 개념

1. 빅데이터는 막대한 양(수십테라바이트 이상)의 정형 및 비정형 데이터.

2. 데이터로부터 가치를 추출하고 결과를 분석하는 기술의 의미

3. 데이터에서부터 가치를 추출하는 것은 통찰, 지혜를 얻는 과정으로 Ackoff, R.L. 이 도식화한 DIKW 피라미드로 표현

4. 데이터를 수집, 저장, 관리, 분석하는 기존의 관리 방법으로는 막대한 양(수십 ㅌ테라바이트 이상)의 데이터를 처리하기 어려울 때 빅데이터를 사용

• DIKW  피라미드

피라미드 요소	설명
데이터(Data)	* 객관적 사실로서 다른 데이터와의 상관관계가 없는 가공하기 전의 순수한 수치나 기호
정보(Information)	* 가공, 처리하여 데이터 간의 연관 관계와 함께 의미가 도출된 요소
지식(Knowledge)	* 획득된 다양한 정보를 구조화하여 유의미한 정보로 분류하고 일반화시킨 결과물 * 정보에 기반해 찾아진 규칙
지혜(Wisdom)	* 근본 원리에 대한 깊은 이해를 바탕으로 도출되는 창의적 아이디어 * 상황이나 맥락에 맞게 규칙을 적용하는 요소

---

빅데이터 특징

특징	설명
다양성(Variety)	* 빅데이터 자원 유형에 관련된 특징 * 정형 데이터뿐만 아니라 비 정형, 반 정형 데이터를 포함
속도(Velocity)	* 빅데이터 수집, 분석, 활용 속도에 관련된 특징 * 사물 정보(센서, 모니터링), 스트리밍 정보 등 실시간성 정보의 생성 속도 증가에 따라 처리 속도 가속화 요구 * 가치 있는 정보 활용을 위해 데이터 처리 및 분석 속도의 중요성 증가
가치(Value)	* 빅데이터 수집 데이터를 통해 얻을 수 있는 가치 * 비즈니스나 연구에 활용되어 유용한 가치를 끌어낼 수 있는가에 대한 문제 * 빅데이터의 가치는 데이터의 정확성 및 시간성과 관련
신뢰성(Veracity)	* 빅데이터의 수집 대상 데이터가 가지는 신뢰에 관련된 특징 * 방대한 데이터에서 노이즈 및 오류 제거를 통해 활용 데이터에 대한 품질과 신뢰성 제고 요구
정확성(Validity)	* 빅데이터의 수집 대상 데이터가 가지는 유효성과 정확성 * 데이터의 규모가 아무리 크더라도 질 높은 데이터를 활용한 정확한 분석 수행이 없다면 의미가 없음 * 데이터가 타당한지 정확한지에 대한 여부는 의사결정의 중요한 요소
휘발성(Volatility)	* 빅데이터의 수집 대상 데이터가 의미가 있는 기간 * 데이터가 얼마나 오래 저장될 수 있고, 타당하여 오랫동안 쓰일 수 있을지에 관한 사항 * 빅데이터는 장기적인 관점에서 유용한 가치를 창출해야 함

---

데이터 지식경영

1. 지식 구분

구분	설명
암묵지(Tacit Knowledge)	* 학습과 경험츨 통해 개인에게 체화되어 있지만 겉으로 드러나지 않는 지식 * 사회적으로 중요하지만 다른 사람에게 공유되기 어려움
형식지(Explicit Knowledge)	* 문서나 매뉴얼처럼 형상화된 지식 * 전달과 공유가 용이

2. 데이터 지식경영 상호작용

상호작용	내용
공통화(Socialization)	* 다른 사람과의 대화 등 상호작용을 통해 개인이 암묵지를 습득하는 단계
표출화(Externalization)	* 형식지 요소 중의 하나이며 개인에게 내재된 경험을 객관적인 데이터인 문서나 매체로 저장하거나 가공, 분석하는 과정
연결화(Combination)	* 형식지가 상호결합하면서 새로운 형식지를 창출하는 과정
내면화(Internalization)	* 행동과 실천교육 등을 통해 형식지가 개인의 암죽지로 체화되는 단계

---

빅데이터의 가치 

가치	설명
불확실성 제거	* 사회현상, 현실 세계의 데이터를 기반으로 한 패턴 분석과 미래 전망 * 여러 가지 가능성에 대한 시나리오 시뮬레이션
스마트한 경쟁령	* 대규모 데이터 분석을 통한 상황 인지, 인공지능 서비스 기능 * 개인화, 지능화 서비스 제공 확대 * 트렌드 변화 분석을 통한 제품 경쟁력 확부
타 분야 융합	* 타 분야와의 융합을 통한 새로운 가치 창출 * 방대한 데이터 활용을 통한 새로운 융합시장 창출
리스크 감소	* 환경, 소셜 네트워크, 모니터링 정보의 패턴 분석을 통한 위함, 이상 포착 * 문제를 사전에 인지 및 분석하고 실시간 대응
경제적 자산	* 새로운 기회 창출 * 위험을 해결하여 사회, 경제 발전 기여

---

분석 가치 에스컬레이터

 

순서	단계	설명
1	묘사 분석 (Descriptive Analysis)	* 분석의 가장 기본적인 지표를 확인하는 단계 * 과거에 어떤 일이 일어났고, 현재는 무슨일이 일어나고 있는지 확인
2	진단 분석 (Diagnostic Analysis)	* 묘사 단계에서 찾아낸 분석의 원인을 이해하는 단계 * 데이터를 기반으로 왜 발생했는지 이유를 확인
3	예측 분석 (Predictive Analysis)	* 데이터를 통해 기업 혹은 조직의 미래, 고객의 행동 등을 예측하는 단계 * 무슨일이 일어날 것인지를 예측
4	처방 분석 (Prescriptive Analysis)	* 예측을 바탕으로 최적화하는 단계 * 무엇을 해야 할 것인지를 확인

---

빅데이터 산업의 이해

• 스마트폰, SNS, 사물인터넷(IoT) 확산 등에 따라 데이터 활용이 증가하여 빅데이터는 신성장동력으로 급부상
• 주요국 및 글로벌 기업은 빅데이터 산업 육성 및 활용에 주력하고 있다.
• 우리나라는 데이터 생산량이 많은 산업(통신, 제조업 등)이 발달해 잠재력이 크지만, 불활실성에 따른 투자 리스크 등으로 활용이 저조하다
• 클라우드 컴퓨팅 기술의 발전으로 데이터 처리 비용이 급격하게 감소하여 빅데이터가 발전하고 있다.
• 산업별 빅데이터 활용

산업	활용
의료, 건강	* 헬스케어 플랫폼 등을 통한 개인 건강정보의 축적 및 의료기관 등과 공유, 활용
정보보안	* 빅데이터 분석을 통해 해킹 등의 보안사고 징후 파악 및 조기 대응, 협업시스템 구축
소비, 거래	* 구매 패턴 및 트랜잭션 분석 등을 통한 소비 트렌드 예측, 시뮬레이션 등을 통한 판매 포트폴리오 구성 지원 및 리스크 관리 등
교통, 물류	* 수요예측, 제어 등 물류, 유통체계 최적화
제조, 공정	* 완제품 품질향상 등을 위해 대기업이 빅데이터 시스템을 구축하고 납품 * 중소, 중견기업이 공동으로 활용
과학기술	* 주요 분야의 연구, 개발 성과물을 바탕으로 대규모 과학기술 빅데이터 공유, 활용 플랫폼 구축