새로운 시대를 여는 빅데이  터    
빅데이터란?
빅데이터의 3요소  빅데이터 vs 비즈니스 데이터  빅데이터의 출현 배경  빅데이터의 주요 기술 구성  기반 인프라-fast data  분석-big analytics  표현-focused services  빅데이터의 활용  대표 활용 사례  빅데이터의 활용 가치  빅데이터의 발전방향  빅데이터 전문가의 확보가 절실  데이터 마켓 플레이스의의 활성화  개인정보 보호에 대한 대책  2    규모 (volume)  유사이래 2003년까지 생성된 정보 5 exabyte  
2011년까지 1.8 zettabytes의 정보 생산 1 zettabyte 103exabytes 106 pettabytes 109 terrabytes 1012 gigabytes 1015 megabytes 1021 bytes 미 의회 도서관 저장정보 (235 terrabyte) 의 4백만배 16gb 아이패드를 축구장 면적으로 쌓아 올리면 대기권의 2배 높이에 도달 [2011, kt 경제 연구소]
  다양성(variety)  데이터 형태  정형화 데이터  비정형 데이터  반정형 데이터    다양성(variety)  정형화된 데이터: 테이블, rdbms  반 정형화된 데이터: xml, html 등 태그를 포함  
비정형화된 데이터: 텍스트, 오디오, 이미지, 동영상 (90% 이상 차지)
  속도(velocity)  
데이터가 생성 후 유통되고 활용되기까지 소요되는 시간
데이터의 실시간 수집: streaming data  
데이터 처리속도가 수주에서 수 분 초 이하로 단축되거나 거의 실시간 처리
인간 게놈 프로젝트   2003년: $30억, 13년 만에 완성   2012년: $1, , 2시간    규모 (volume)  제타 바이트 (zb 1 조 mb) 시대  다양성 (variety)  정형화 반 정형화 비정형화된 데이터  속도 (velocity)  빠른 데이터의 생성, 유통, 활용    비즈니스 데이터 빅데이터  
사용 데이터베이스 관계형 데이터베이스 (rdbms) 이용 비관계형 데이터베이스 (nosql) 이용 데이터 저장 형태 테이블 파일 데이터의 가치 개개의 데이터가 중요 개개의 데이터가 모여 새로운 정보 전달 주 활용 분야 소비자, 생산, 매출, 자산, 재고 등 erp나 scm 등 내부기간 시스템에서 활용 운영을 위한 개별 데이터 관리
고객 유형별 관심, 감성 분석, 트랜드 파악 데이터를 통합하여 숨어 있는 가치 발견
필수 요건 정합성 (consistency): 모든 노드는 같은 시간에 같은 데이터를 보여줘야 함 유효성 (availability): 일부 노드가 다운되어도 다른 노드에 영향을 주지 않아야 함
수평적 확장 (horizontal scalability) 의 용이성 분산 가 용 성 (partition tolerance) 및 응답성: 네트워크 전송 중 일부 데이트를 손실하더라도 시스템은 정상적으로 동작해야 함
  빅데이터 인프라    
빅 브라더 빅브라더들의 고객 데이터 트래킹/수집 행위 증가 미국에선 술이나 담배 같은 건강에 좋지 않은 것을 사는 사람들에게 구매 시 “현금”만을 사용할 것을 전문가들이 권고 카드를 쓰면 건강하지 못한 생활을 하는 사람으로 분류되어 각종 보험료가 인상
  sns의 확산  페이스북 (2014년 1분기)  
월 활동성 사용자(한 달에 한번 적어도 접속하는 사용자)는 12억 7천만명
일 활동성 사용자(하루에 적어도 한번 접속하는 사용자)도 8억명을 돌파
한 달에 한번이라도 페이스북 계정으로 모바일에 접속하는 이용자 수가 10억명을 돌파
매월 한 이용자당 평균 90개 이상의 컨텐츠를 생성
  sns의 확산  exhaust data (간접 데이터)  
다른 활동의 부산물로 생겨나는 데이터에 대한 데이터
페이스북의 사진에 태그를 붙이도록 도와주는 안면 인식 루틴
댓글, 선호도, 웹 로그  소셜 플랫폼   외부 웹 사이트/앱들과 sns와의 연동   opengraph api    멀티미디어 데이터의 폭증  
youtube는 1분마다 24시간 분량의 비디오가 업로드
hd 동영상이 전체 인터넷 트래픽의 50% 이상 차지
90% 이상의 의료 데이터 (x-ray, ct 스캔)    internet of things-사물 인터넷  스마트 폰 개인 정보 위치 정보  
임베디드 시스템 m2m (machine to machine) : 사물이 감지장치를 통해 정보를 전달 3천만개의 사물 센서가 연결-클라우드를 통해 수집 차량 센서 스마트 에너지 미터 스마트 가전 헬스/의료 모니터링 기기 건축물 진동 센서 rfid 등.   (이하 생략)