[전문가 서평] ‘세상을 읽는 새로운 언어, 빅데이터’ - 우리 생활 속 이야기
상태바
[전문가 서평] ‘세상을 읽는 새로운 언어, 빅데이터’ - 우리 생활 속 이야기
  • 정훈 문헌연구가
  • 승인 2020.05.01 11:30
  • 댓글 0
이 기사를 공유합니다

책 ‘세상을 읽는 새로운 언어, 빅데이터’ 표지 이미지 / 사진 = 21세기북스
책 ‘세상을 읽는 새로운 언어, 빅데이터’ 표지 이미지 / 사진 = 21세기북스

[서평전문지_모먼트 = 정훈 칼럼니스트] 빅데이터는 최근의 IT 관련된 용어 중 가장 대중적으로 알려진 단어 중 하나일 것이다. 거의 모든 분야에서 빅데이터가 중요하다고 입을 모아 말하고 있고 거의 모든 분야에서 빅데이터를 이용하고 있기 때문이다. 어떤 사회 현상에 대해 빅데이터를 사용한 분석 및 해석 등을 제시하는 뉴스 기사 등이 쏟아지기도 한다. 기업에서 빅데이터를 이용해 소비자 개개인을 대상으로 하는 맞춤 서비스를 제공하는 것은 더 이상 생경한 풍경이 아니다. 이렇게 여기저기에서 활발히 사용되고 있는 빅데이터란 과연 무엇일까.
 
빅데이터는 기존의 데이터베이스 관리도구의 한계를 넘어서는 대량(수십 테라바이트 이상)의 정형 또는 비정형의 데이터를 가리킨다. 기존의 숫자나 글자 등을 이용하여 미리 정해진 기준에 의해 정리되어 있는 데이터를 정형데이터라 하고 이미지, 소리, 동영상 등과 같이 일정하게 정리하기 어려운 데이터를 비정형데이터 라고 한다. 빅데이터라 불리는 데이터들은 기존의 데이터와는 다른 특성을 가지고 있다. 
 
빅데이터는 데이터의 양(Volume)이 기존의 데이터베이스 프로그램이 처리할 수 없을 만큼 많다.  그리고 국립중앙과학관의 인터넷에서 1분당 생성되는 데이터 조사 자료에서 밝힌 바와 같이  트위터에서는 27만8천개의 트윗이, 스냅챗에서는 10만 4천장의 사진이, 유튜브에서는 72시간 분량의 영상이, 아마존에서는 8만 3천달러 상당의 거래가, 2억 4백만개의 이메일이 전송되고 있다는 사실과 같이 데이터 생성 속도(Velocity)가 굉장히 빠르며, 숫자와 같은 정형 데이터 이외에 텍스트, 이미지, 동영상 같은 비정형 데이터들이 다양(Variety)하다는 것이다. 그래서 빅데이터는 이들 해당 영어 단어들의 첫 글자를 따서 'VVV', 즉 3V라고도 한다.
 

사진은 기사의 특정 사실과 관련 없음. / 사진 = 픽사베이
사진은 기사의 특정 사실과 관련 없음. / 사진 = 픽사베이

빅데이터 시대의 도래 이후 여러 분야에서 빅데이터를 사용한 경험에 따라 새로이 추가된 3V가 존재한다. 먼저 거대한 데이터를 신뢰할 수 있는가의 문제가 있다. 데이터가 많아질수록 엉터리 데이터 역시 많아질 수 있기 때문이다. 따라서 빅데이터의 이용자가 데이터가 정확한지, 분석할 만한 가치가 있는지 등을 살피는 정확성(Veracity)이 제시되고 있고 맥락에 따라 의미가 달라지는 가변성(Variability)과 사용 대상자가 쉽게 이해할 수 있도록 재구성하는 시각화(Visualization)까지 해서 빅데이터의 새로운 3V라고 한다.
 
이런 빅데이터가 여러가지 분야에서 중요하게 사용된다는 것은 자명한 사실이다. 그렇다면 실제 현장에서 어떻게 사용되고 있을까? ‘대한민국 최고의 데이터마이닝 전문가’이자 서울대학교 산업공학과 교수로 재직하고 있는 조성준 교수가 저서 <세상을 읽는 새로운 언어, 빅데이터>를 통해 실제 현장에서 빅데이터가 어떻게 선정되고, 사용되는지 쉽고 간략하게 알려주고 있으며 국내에서 빅데이터를 활용하는데 있어 미비한 점을 짚고 앞으로 나아가야 할 방향에 대해 견해를 내놓았다. 
 
저자에 따르면 이제 우리는 빅데이터가 무엇인가 하는 이해에서 벗어나 새로운 관점을 갖아야 할 때가 왔다고 주장한다. 기존의 3V, 즉 데이터의 양, 속도, 다양성의 관점을 벗어나 비즈니스적인 관점에서 빅데이터를 봐야하는 것이다. 기업에서는 빅데이터를 통해 새로운 사업을 구상하고 고객과 소통하며 매출을 늘리고 비용을 줄이는 등에 깊이 고민을 해야 하며 공공기관은 어떻게 해야 국민들이 필요로 하는 부분을 분석하고 효율적인 정책을 수립할 수 있을지 생각해야 한다. 
 

사진은 기사의 특정 사실과 관련 없음. / 사진 = 픽사베이
사진은 기사의 특정 사실과 관련 없음. / 사진 = 픽사베이

비즈니스적 관점에서 가치를 도출하는 단계는 원석이라고 할 수 있는 빅데이터를 데이터 사이언티스트가 인공지능, 머신러닝, 데이터마이닝 등과 같은 분석을 통해 인사이트를 도출하고 이를 기반으로 현업의 실무담당자인 의사결정자가 가치를 생성하는 것으로 이루어져 있다. 인사이트란 통상 ‘통찰력’으로 통용된다. 인사이트는 관점에 따라 다르게 사용되는데 담당자가 고객에 무언가 판매하는 사람이라면 고객이 무엇을 원하는지 왜 구매하지 않는지 등을 도출해야 하며 기계 관리 엔지니어라면 관리하는 기계가 어떤 문제가 있는지, 상태는 어떤지 등을 보는 것이다.
 
해양구조물을 제작하는 현장에서는 일정 부위에 문제가 있는 경우 재작업 지시서를 작성하여 다시 공정을 시작한다. 이를 통해 품질을 높이는 것인데 사실 재작업지시서가 다시 나오지 않는 것이 제일 바람직하다. 수많은 재작업 지시서를 사람이 읽고 분석하는 것은 실제적으로 불가능하지만 빅데이터 분석기술 중 자연어 처리 기법을 통해 재작업 지시서를 분석한다면 어떤 문제 때문에 주로 발생하는지를 분석할 수 있으며 작업자의 문제인지, 설계의 문제인지 등 해당 문제가 어디서 발생하는지에 대한 인사이트를 데이터 분석을 통해 얻고, 이를 직접 해결할 수 있다. 이는 기존의 방법처럼 몇몇의 전문가의 감에 의존하거나 머리에 띠를 두르고 결의대회를 열어 ‘재작업 제로의 원년이 되자’라고 외치는 것 보다 훨씬 효과적이다. 빅데이터 분석을 통해 해결한 문제는 재발하지 않기 때문이다.
 
건설현장이 아닌 일반 고객을 상대하는 기업에서도 빅데이터 분석은 유용하다. 특히 소비자의 행동을 예측하고 이미 일어난 행동을 분석하는 부분이 그러하다. 리서치업체에서는 소비자의 불만, 원하는 점, 신제품 구매 의사 등을 묻지만 그 답은 실제와 다른 경우가 많다. 자신의 내밀한 속마음을 실제로 표현하는데 부담을 느끼기도 하고 스스로를 제대로 이해하지 못한 경우도 있기 때문이다. 따라서 소비자는 관찰의 대상이다. 묻지 말고 관찰해야 한다. 소비자의 행동을 분석해야 정확한 예측이 가능하다.
 

사진은 기사의 특정 사실과 관련 없음. / 사진 = 픽사베이
사진은 기사의 특정 사실과 관련 없음. / 사진 = 픽사베이

빅데이터의 필요성은 더더욱 중요하다. 기존의 빅데이터 분석가가 되는 방법은 수학, 통계학, 머신러닝, 최적화, 코딩 등의 이공계 과목을 전공하고 추가로 석박사 과정을 밟아야 했다. 그러나 최근엔 코딩 없이 클릭과 드래그만으로 데이터를 분석할 수 있는 오픈소스 프로그램이 등장하고 있기 때문에 빅데이터 분석의 문턱이 낮아져 누구나 접근할 수 있게 되었다. 이런 상황에서 빅데이터를 활용하지 않는다면 분야를 막론하고 결국 경쟁자에 뒤쳐지고 말 것이다.
 
빅데이터라는 개념은 더 이상 새롭고 낯선 단어가 아니다. 전혀 관심이 없는 사람이라도 어디선가 들어봤다고 할만 한 우리 생활에 깊숙히 자리잡은 개념이라고 봐야 할 것이다. 하지만 친숙한 것과 이것을 잘 사용하는 것은 전혀 다른 문제이며 빅데이터 전문가가 아니더라도 빅데이터 분석을 가능하게 해주는 수단들이 속속 등장하는 현재 시점에서 빅데이터와 빅데이터의 분석된 결과를 어떻게 사용할 것인가를 고민하는 것은 더 이상 남의 일이 아니게 될 것이다. 데이터는 곧 새로운 화폐나 다름없으며 이를 적절히 활용하는 능력은 다가오는 새로운 시대를 헤쳐나갈 필수적인 능력이 될 것이다. 빅데이터란 무엇인가에서 더 이상 머물지 말고 어떻게 활용할 것인가라는 의식으로 한 걸음 더 나아가보길 바란다.


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.
주요기사
이슈포토
  • 서울문화재단, 코로나19 피해 예술인에 총 60억 지원
  • [전이음의 책 톺아보기] 당신 곁의 그 사람, ‘근린 생활자’
  • [오피니언] 범우주적 친환경 로맨스, '지구에서 한아뿐'
  • [전문가 서평] '색의 유혹' - 색이 지배하는 세상
  • [전이음의 책 톺아보기] 파괴와 희망의 이름, ‘콜럼바인’
  • [전문가 서평] ‘데일 카네기 인간관계론’ - 내가 대접받고 싶은 대로