‘빅 데이터(Big Data), 세상을 바꾸다’

빅 데이터(Big Data), 세상을 바꾸다

1. 기획의도

지금은 빅 데이터 시대다(The Age of Big Data). 과거에는 불가능했던 엄청난 양의 정보가 양산되고 있고 컴퓨터 기술의 발전으로 이들 데이터에 대한 분석이 가능해지고 있다. 스마트폰이 우리가 어디쯤 있는지를 실시간 기록하고 있고 지하철과 버스 안 요금정산기도 얼마를 지불하는지, 언제 어느 장소에 있는지에 관한 정보를 기록하고 있다. 네이버나 다음, 구글에 검색어를 입력할 때도, 페이스북이나 트위터에 점심은 무엇을 먹었는지 오늘 기분은 어떤지에 관한 짧은 글을 남기는 순간에도, 우리의 위치정보는 물론 취향이나 습관, 검색 패턴, 구매 기록은 물론 그 날의 기까지 알아낼 수 있는 막대한 양의 데이터들이 쌓이고 있다.

2011년 전 세계에서 생성되는 디지털 정보량은 1.8 제타바이트. 1.8 제타바이트(1.8ZB = 1,800,000,000,000,000,000,000 bytes)는 대한민국 모든 사람(약 4875만 명, 2010년 기준)이 18만 년 동안 쉬지 않고 1분마다 트위터에 3개의 글을 게시하는 양과 같다. 또 2시간짜리 HD 영화 2천억 개와 맞먹는 정보의 양이다. 전 세계 디지털 정보량은 2년 마다 2배씩 증가하고 있다(디지털 유니버스 보고서)

이처럼 기존의 데이터 관리 및 분석 방법으로는 감당할 수 없는 막대한 양의 데이터가 빅 데이터(Big Data)이다. 미국과 유럽 등 선진국들은 이미 기하급수적으로 증가하고 있는 빅 데이터 속에서 기업은 물론 사회와 인류에게 유용한 정보와 가치들을 얻기 위한 관심과 투자에 열을 올리고 있다. 기업들은 이제 고객들이 남기는 결재정보와 구매기록, 관심사 등을 글로벌하게 분석해 개인의 취향에 맞춘 타겟 마케팅을 펼치고 있고 정부기관들도 사회구성원들이 쏟아내는 막대한 정보를 분석해 교통, 세금, 범죄, 재난대처 등 사회 각 영역에서 과거와는 차원이 다른 정확한 정보를 토대로 예산집행의 효율성과 공공서비스의 질을 높이고 있다.

엄청나게 쌓여가는 데이터 홍수 속에서 어떻게 우리 삶과 사회, 인류에게 의미 있는 정보와 가치들을 얻어내 미래 사회로 나아갈 것인가가 새로운 화두가 되고 있다. 2020년 전 세계 디지털 정보 양은 현재보다 44배나 증가할 것으로 예측되고 있다. 방대한 양의 데이터에서 개인과 사회에 의미 있는 정보들을 추출하고 문제를 찾아내 세상을 바꿀 수 있는 여건들 또한 마련되고 있다. 스마트폰과 SNS 혁명은 빅 데이터 혁명(Big Data Revolution)으로 진화하고 있다. 빅 데이터는 한국 사회가 직면하고 있는 수많은 문제와 의문들에 대한 답을 줄 수 있을 것인가? 빅 데이터 분석과 기술 개발에 사활을 걸고 뛰어들고 있는 전 세계 기업들의 빅 데이터 활용 사례와 공공부분에서의 적용 사례, 앞으로의 전망 등을 살펴보고 2012년 한국 사회가 진화하고 성장하는 데 필요한 해답을 빅 데이터(Big Data)에서 찾아본다.

2. 주요 내용

1) 프롤로그

‣ 패턴의 신비

아무리 복잡해 보이는 현상들도 일정한 패턴, 트렌드를 가지고 있다. 수많은 데이터들이 만들어 내는 무질서한 흐름 속에서 숨겨진 패턴을 발견하는 일은 현재 어떤 일이 일어나고 있고 어떤 방향으로 나아갈 지 예측하는 중요한 수단이 된다.

2) 데이터 속에 숨겨진 가치

‣ 생명을 살리는 데이터

미숙아 치료실에서 버려지던 복잡하고 방대한 양의 데이터에서 숨겨져 있던 패턴과 가치를 발견, 미숙아 치료의 새 장을 연 캐나다 여교수의 빅 데이터 활용 사례

‣ Big Data와 Big City

오늘날 거대도시들은 수많은 데이터를 생산하고 있다. 사람과 자동차, 대형 이벤트들이 어울려 복잡하고 거대한 움직임(City Dynamics)을 만들어 내고 있다. data는 특정공간 혹은 거대 도시에 걸쳐 광범위하게 일어나고 있는 도시의 복잡한 움직임을 한 눈에 파악할 수 있는 수단이 될 수 있다. 어떤 일이 일어나는지를 이해할 수 있으면 어떻게 대처해야 하는지도 알 수 있다. 암스테르담의 big sail event에서 백 만 명의 움직임을 실시간 파악한 mobile data 분석 사례.

3) 데이터란 무엇인가?

‣ 데이터는 어디서 오는가?

데이터란 무엇인지, 어디서 오는지, 우리 주변에 얼마나 많은 데이터들이 떠다니고 있는지를 소개하고 인터넷과 모바일로 연결된 수많은 디바이스들이 생산되고 활용되면서 점점 더 data 생산을 위한 센서가 되어가고 있는 인간의 모습을 담음.

‣ 제타 바이트 시대의 도래

현재 미국의 모든 도서관에 소장된 정보의 8배에 달하는 데이터가 매일 생산되고 있다. 지난 2년간 생산된 정보가 인류 탄생 이후 생산된 정보의 양보다 많을 정도로 데이터 생산량은 폭발적으로 증가하고 있다. 데이터의 폭발적 증가 실태와 제타바이트 시대의 의미 구성

4) 왜 Big Data인가?

‣ 데이터는 Oil이다.

데이터는 수많은 사람과 센서들이 생산하고 있는 결과물이다. 그리고 매 순간 엄청난 양의 데이터들이 생산되고 있다. 이들 데이터를 활용해 사람들의 생각, 행동의 변화를 읽을 수 있다면? 무수히 떠다니는 데이터들은 무엇을 이야기하고 있는가? 다음소프트에서 분석한 빅 데이터 분석 사례 등 소개(빅 데이터 분석이 무엇인지 보여주는 간단한 소개 사례들로 구성)

‣ 슈퍼컴퓨터 Watson, 인간을 넘다

상상할 수 없을 정도로 발전한 컴퓨터 분석 기술의 발전은 데이터 분석 사회의 도래를 앞당기고 있다. IBM 슈퍼컴퓨터 Watson(왓슨)과 인간의 퀴즈쇼 대결(Jeopardy)에서 승리를 거둔 Watson의 빅 데이터(대용량 정보) 분석 기술을 소개하고 방대한 양의 데이터 분석 기술이 어디까지 왔는지 구성

5) 데이터로 보는 세상

‣ 세상을 보는 창, 데이터/한스 로슬링

세상을 보는 방식이 근본적으로 바뀌고 있다. 데이터를 통해 세상을 들여다볼 때 편견과 잘못된 선입견 없이 있는 그대로 세상을 이해할 수 있다. 세계적으로 유명한 스웨덴의 통계학자 한스 로슬링(Hans Rosling), 그가 data를 통해 들여다본 한국 사회는 어떤 모습인가? 그가 data로 바꾸려는 것은 무엇인가? 데이터가 세상을 어떻게 바꿀 수 있는지 한스 로슬링으로 부터 듣는다.

‣ 데이터, 통찰력을 얻다

데이터는 눈으로는 보이지 않는 새로운 통찰력(Insight)을 안겨 준다. 미국은 지금 어떻게 연결돼 있는가?(모바일 데이터로 본 미국), 페이스북과 트윗터, 블로그 데이터 분석을 통한 현재 한국 사회의 트렌드 변화(커피, 술을 이기다 등)에 관한 분석 결과를 소개

‣ 빅 데이터, 사회 문제(Social Problem)를 풀다

쓰나미와 지진 등 인류의 재앙을 비롯해 실업, 출산, 물가, 교통사고, 예산낭비 등 사회문제를 풀기 위한 Big Data의 활용 가능성 취재. 빅 데이터를 활용한 공공정책과 사회혁신 사례 등 구성

- 샌프란시스코 범죄 정보 활용 사례

- 영국과 미국의 교통사고 데이터 분석 사례

- 런던의 혼잡통행료 징수 효과 분석 사례

- 질병 진단 프로세스 고도화 사례

- 영국과 미국 정부의 예산 낭비 분석 사례 등

6) 빅 데이터, 날개를 달다(Beautiful Insight)

데이터들이 만들어 내는 수많은 패턴들을 시각화하면 어떤 일들이 일어나고 있는지를 직관적이고도 명확하게 이해할 수 있다. 수천 만, 수억 개에 달하는 데이터 분석 결과를 누구나 직관적으로 이해할 수 있도록 일목요연하게 또 아름답게 표현해내는 데이터 시각화(data visualization)의 세계를 들여다 본다.

7) 빅 데이터와 2012 한국 사회

‣ 한스 로슬링, 한국사회를 분석하다.

세계적 통계학자 한스 로슬링이 데이터 분석을 통해 들여다 본 한국사회는 어떤 모습인가? 한스 로슬링이 UN 데이터를 분석해 한국 사회의 현재 모습을 진단하고 한국사회가 안고 있는 문제와 한국인들에게 필요한 것은 무엇인지 직접 프레젠테이션 한다.

‣ 2012, 한국의 미래는?

빅 데이터 분석 업체인 다음소프트와 공동으로 한국인들의 가슴 속에 자리 잡고 있는 현 한국 사회의 문제와 2012년에 바라는 한국 사회에 대한 기대와 열망을 분석, 새 해를 맞아 한국인과 한국 사회 발전에 필요한 것은 무엇인지 분석한다.