[빅분기] 빅데이터 조직 및 구성

빅데이터 업무 프로세스

• 빅데이터 도입 단계 : 빅데이터 서비스를 제공하기 위해서는 빅데이터 시스템 구축을 위한 빅데이터 도입 기획, 기술 검토, 도입 조직 구성, 예산 확보 등을 수행
• 빅데이터 구축 단계 : 빅데이터 플랫폼을 구축하기 위해서는 요구사항 분석, 설계, 구현, 테스트 단계를 수행
• 빅데이터 운영 단계 : 빅데이터 시스템의 도입 및 구축이 끝나면, 이를 인수하여 운영 계획을 수립. 빅데이터 플랫폼 운영, 데이터 및 빅데이터 분석 모델 운영, 빅데이터 운영 조직, 빅데이터 운영 예산 고려

---

조직 구조 설계의 요소

• 업무 활동 : 조직의 미션과 목적을 달성하기 위하여 과업 수행을 위해 수직 업무 활동과 수평 업무 활동으로 구분
  • 수직 업무 활동 : 경영 계획, 예산 할당 등 우선순위를 결정
  • 수평 업무 활동 : 업무 프로세스 절차별로 업무를 배분
• 부서화 : 조직의 미션과 목적을 효율적으로 달성하기 위한 조직 구조 유형 설계. 조직 유형으로는 집중 구조, 기능 구조, 분산구조로 분류 한다.
  • 집중 구조 : 전사 분석 업무를 별도의 분석 전담 조직에서 담당하고, 전략적 중요도에 따라 분석조직이 우선순위를 정해서 진행 가능
  • 기능 구조 : 일반적인 형태로 별도 분석 조직이 없고 해당 부서에서 분석 수행. 전사적 핵심 분석이 어려우며 과거에 국한된 분석 수행
  • 분산 구조 : 분석 조직 인력들을 현업 부서로 직접 배치해 분석 업무를 수행. 전사 차원의 우선순위 수행. 분석결과에 따른 신속한 피드백이 나오고 베스트 프랙티스 공유가 가능
• 보고 체계 : 조직의 목표 달성을 위하여 업무 활동 및 부서의 보고 체계를 설계

---

조직 구조의 설계 특성

• 공식화 : 업무의 수행 절차, 수행 방법, 작업 결과 등의 기준을 사전에 설정하여 공식화
• 분업화 : 조직의 목표 달성을 위하여 업무 수행 시 업무를 분할하여 수행. 업무의 성격에 따라 여러 단위로 나누는 수평적 분할과 계획, 감독, 실무 업무 실행 등의 수준에 따라 나누는 수직적 분할로 구분
• 직무 전문화 : 직무 전문화는 수행 업무에 활용되는 직무 전문성의 유형을 의미하며, 직무 전문성에 따라 생산성이 증대되므로 전문 지식과 경험이 중요한 요소
• 통제 범위 : 관리자가 효율적으며 효과적으로 관리할 수 있는 조직의 인원수
• 의사소통 및 조정 : 업무 수행 시 의사소통은 업무의 지시, 보고, 피드백 등 수직적인 활동과 문제해결을 위한 협업 등 수평적인 활동으로 구분

---

조직 역량 개념

• 조직 역량은 조직 구성원의 역량을 확보하여 조직 구성원들이 조직이 기대한 성과를 낼 수 있도록 하는 중요한 요소
• 기업이나 조직을 지속적으로 경영하기 위해서는 조직 역량의 확보가 필수적

---

조직 역량 모델링

• 기업이나 조직의 목표 달성을 위해서는 우수 성과자의 기여가 중요한 요소
• 우수 성과자의 행동하는 특성을 파악하여 업무 달성을 위한 지식, 스킬, 태도 등 직무 역량 요소들을 도출하여 직무별 역량 모델을 만든다
• 데이터 사이언스를 수행하는 데이터 사이언티스트의 요구역량에는 소프트 스킬과 하드 스킬이 있다.
  • 소프트스킬 : 모든 직무에서 사용할 수 있는 기술. 예를들어 커뮤니케이션 능력, 논리적 비판 능력, 창의적 사고력, 호기심, 스토리텔링 능력, 비주얼라이제이션
  • 하드스킬 : 해당 업무를 수행하기 위해 필요한 실질적인 기술. 예를들어 목적에 맞는 최적 분석 설계, 노하우 축적, 빅데이터 관련 기법 및 다양한 방법론 습득
• 가트너는 데이터 사이언티스트가 갖추어야 할 역량으로 분석 모델링, 데이터 관리, 소프트 스킬, 비즈니스 분석을 제시

---

데이터 분야 직무별 업무

• 데이터 엔지니어
  • 비즈니스를 이해하고 대량의 데이터 세트 가공. 
  • 하둡, 스파크 등을 이용해서 대용량 데이터 분산 처리 시스템 개발
  • 시스템 개발에 필요한 프로그래밍 언어 사용 스킬 필수
  • 사내 데이터 분석가와 데이터 사이언티스트가 제품을 최적화하기 위한 분석 도구 개발
• 데이터 분석가 
  • 데이터의 경향, 패턴, 이상치 등을 인식하기 위한 시각화 진행, 보고서 작성
  • 비즈니스 팀과 연계해 각 팀의 전략을 수립하거나 업무 효율화에 필요한 데이터 수집 및 분석
  • 최적의 의사결정을 내리는 데 도움을 주는 비즈니스 인사이트 제공
• 데이터 사이언티스트
  • 예측 모델링, 추천 시스템 등을 개발해 비즈니스 의사결정에 필요한 인사이트 제공
  • 사내 데이터를 이용해서 고객 행동 패턴 모델링 진행, 패턴을 찾아내거나 이상치 탐지
  • 머신러닝 모델을 사용해 정형, 비 정형 데이터에서 인사이트 창출

---

데이터 거버넌스

• 데이터 거버넌스란 기업에서 사용하는 데이터의 가용성, 유용성, 통합성, 보안성을 관리하기 위한 정책과 프로세스를 다루며 프라이버시, 보안성, 데이터 품질, 관리 규정 준수를 강조하는 모델
• 데이터 거버넌스의 구성요소
  • 원칙 : 데이터를 유지, 관리하기 위한 지침과 가이드, 품질기준, 보안, 변경관리
  • 조직 : 데이터를 관리할 조직의 역할과 책임. 데이터 관리자, 데이터베이스 관리자, 데이터 아키텍처
  • 프로세스 : 데이터 관리를 위한 활동과 체계. 작업 절차, 모니터링 활동, 측정 활동
• 데이터 거버넌스 체계
  • 데이터 표준화 : 데이터 표준 용어 설명, 명명 규칙, 메타데이터 구축, 데이터 사전 구축, 데이터 표준 준수 진단, 논리, 물리 모델 표준에 맞는지 검증
  • 표준화 활동 : 데이터 거버넌스 체계 구축 이후 표준 준수 여부를 주기적으로 점검 및 모니터링 실시
  • 데이터 관리 체계 : 메타데이터와 데이터 사전의 관리 원칙 수립
  • 데이터 저장소 관리 : 메타데이터 및 표준 데이터를 관리하기 위한 전사 차원의 저장소 구성

---

데이터 분석 준비도(Readiness)

• 데이터 분석 준비도 프레임워크
  • 분석 업무 파악 : 발생한 사실, 예측, 시뮬레이션, 최적화 분석 업무
  • 인력 및 조직 : 분석 전문가 교육 훈련 프로그램, 관리자들의 기본적 분석 능력, 전사 분석 업무 총괄 조직 존재, 경영진 분석 업무 이해 능력
  • 분석 기법 : 업무별 적합한 분석 기법 사용,  분석 업무 도입 방법론, 분석 기법 효과성 평가 및 정기적 개선
  • 분석 데이터 : 분석 업무를 위한 데이터 충분성, 신뢰성, 적시성. 비구조적 데이터 관리. 외부 데이터 활용 체계. 기준 데이터 관리
  • 분석 문화 : 사실에 근거한 의사결정. 관리자의 데이터 중시. 회의 등에서 데이터 활용. 경영진의 직관보다 데이터 활용. 데이터 공유 및 협업 문화
  • IT 인프라 : 운영 시스템 데이터 통합. EAI, ETL 등 데이터 유통체계. 분석 전용 서버 및 스토리지. 빅데이터 분석 환경, 통계 분석 환경, 비주얼 분석 환경
• 조직평가를 위한 성숙도 단계
  • 도입 단계 : 분석을 시작해 환경과 시스템을 구축하는 단계(일부 부서에서 수행, 담당자 역량에 의존)
  • 활용 단계 : 분석 결과를 실제 업무에 적용하는 단계(전문 담당 부서에서 수행, 분석 기법 도입, 관리자가 분석 수행)
  • 확산 단계 : 전사 차원에서 분석을 관리하고 공유하는 단계(전사 모든 부서 수행, 분석 전문가 조직 운영, 데이터 사이언티스트 확보)
  • 최적화 단계 : 분석을 진화시켜서 혁신 및 성과 향상에 기여하는 단계(데이터 사이언스그룹, 경영진 분석 활용, 전략 연계)
• 개선 방안 수립
  • 준비형 : 데이터 분석을 위한 낮은 준비도와 낮은 성숙도 수준에 있는 기업
  • 정착형 : 준비도는 낮으나 조직, 인력, 분석 업무, 분석 기법 등을 기업 내부에서 제한적으로 사용하고 있어 일차적으로 정착이 필요한 기업
  • 도입형 : 기업에서 활용하는 분석 업무, 기법 등은 부족하지만 적용조직 등 준비도가 높아 바로 도입할 수 있는 기업
  • 확산형 : 기업에 필요한 6가지 분석 구성요소를 갖추고 잇고, 지속적인 확산이 필요한 기업