디지털 헬스케어 #2. 빅데이터란 무엇인가?

 이 글은 "빅데이터로 정확히 뭐를 하고 어떻게 하는 것인가?"라는 궁금증을 해소하기 위한 글이다. 빅데이터가 핫하고 굉장히 중요한 기술인 것은 알겠는데, 그게 뭔지는 모르겠는 상황이 답답하다면 이 글이 도움이 될 것이다. 나도 그랬기 때문이다. 

목차

빅데이터란 대체 무엇인가? 정의

 빅데이터(Big data). 일단 이름에서 크고 복잡한 데이터라는 것은 알겠다. 그렇다면 얼마나 크고 얼마나 복잡해야 빅데이터인가?

 

 빅데이터는 "3V"에 해당하는 데이터다. 3V는 "기존의 데이터 단위를 넘어서는 엄청난 양(Volume), 데이터의 생성과 흐름이 매우 빠르게 진행되는 속도(Velocity), 사진, 동 영상 등 기존의 구조화된 데이터가 아닌 다양한 (Variety) 형태"를 뜻한다.

 

 최근에는 단순히 데이터를 지칭하는 것을 넘어, 관련 도구, 플랫폼, 분석기법까지 포괄하는 용어로 변화했다.

빅데이터는 어떻게 쓰이는가? 예시

<2008년 미국 대통령 선거>

 버락 오바마 는 유권자 빅데이터를 분석해서 '유권자 맞춤형 선거 전략'을 전개했다. 인종, 종교, 나이, 가구형태, 소비 수준, 과거 투표 여부, 구독하는 잡지, 마시는 음료 등을 수집해 유권자를 분류했다.

 

<아마존닷컴 추천 상품>

 모든 고객들의 구매 내역을 분석해 소비자의 소비 취향과 관심사를 파악한다. 고객별로 '추천 상품(레코멘데이션)'을 표시한다.

 

<구글 및 페이스북>

 이용자의 검색 조건, 사진, 동영상을 즉각 처리하여 이용자에게 맞춤형 광고를 제공

 

<의료>

 의료기관별 진료방법, 효능, 비용 데이터를 분석해서 효과적인 진료방법 파악, 의료협회 간 데이터 공유, 전국의 의료 데이터 연계(전염병 대응)

 

<마케팅>

 기존 지역축제의 성공 척도는 경제성에만 국한되었다. 빅데이터를 활용해, 관광객의 즐겁고 신나는 경험을 관광객이 남긴 웹상의 기록을 추적해서 측정한다.  SNS 게시물 및 영상 조회수와 도달 범위, 좋아요, 공감, 비공감, 댓글 등 의사표현 등.

 

<구글 번역>

 수억 건의 문장과 번역문을 데이터베이스에 담고 있다.

빅데이터는 어떻게 하는 것인가? 6단계와 단계별 기술

빅데이터 처리과정<자료=박두순외 5명>

 빅데이터는 6단계 처리 과정을 거친다. 

1. 데이터 소스
2. 수집
3. 저장
4. 처리
5. 분석
6. 표현

 그리고 각 단계별로 데이터를 가공하거나 분석하기 위한 기술들이 필요하다. Hadoop, R, NoSQL, 통계학, 기계학습, 인공신경망, 데이터 마이닝 등이 빅데이터에서 의미 있는 정보를 얻어내기 위한 기술이다.

핵심 요약

1. 빅데이터는 3V(양, 속도, 형태) 속성을 지닌 데이터다. 데이터 관련도구, 플랫폼, 분석기법까지 포괄하는 용어로 혼재돼서 사용된다. 

 

2. 다시 말해, 빅데이터를 가공하거나 분석하기 위한 기술들 모두를 뭉뚱그려서 "빅데이터" 혹은 "빅데이터 기술"이라고 할 수 있다. 

 

3. 이런 기술들에는 Hadoop, R, NoSQL, 통계학, 기계학습, 인공신경망, 데이터 마이닝 등이 있다.

출처

[1] Kim, Jung-Sook. "빅 데이터 활용과 관련기술 고찰." Review of Korea Contents Association 10.1 (2012): 34-40.

[2] 빅 데이터 - 위키백과, 우리 모두의 백과사전 (wikipedia.org)