포스팅 목차
근래에 들어서 많은 관심을 끌고 있는 분야는 바로 빅 데이터입니다. 여기서 데이터는 정보화시대의 원유라고 불릴 만큼 아주 큰 가치를 가지고 있습니다. 기술적이나 공학적인 한계로 인하여 제대로 분석하지 못했던 데이터들을 분석하기 위한 방법과 도구들이 개발되었습니다. 지금부터 빅 데이터에 대해서 알아보는 시간 가져보도록 하겠습니다.
4차 산업 혁명으로 주목을 받고 있는 기술들이 몇 가지 있습니다. 인터넷이 연결되어 있으면 언제 어디서든 원하는 정보를 업로드하거나 가져올 수 있는 클라우드와 인공지능 그리고 디지털 환경에서 발생하는 모든 데이터를 말하는 빅데이터가 있습니다. 여기서 빅 데이터는 기존 데이터 베이스 관리 도구의 능력을 뛰어넘고 데이터에서 가치를 창출해 결과를 분석하는 기술이라고 보시면 되겠습니다. 그럼 자세하게 한 번 들여다보도록 하겠습니다.
빅 데이터란 무엇인가?
빅 데이터는 디지털 세계에서 조직과 개인이 생성하는 복잡하고 다양한 데이터 세트를 의미합니다. 데이터 세트는 광대하고 복잡해 기존의 데이터 처리 도구나 기술로는 처리를 할 수가 없습니다. SNS나 센서, 비즈니스 애플리케이션 등 다양한 소스에서 제공되는 정형, 준정형 그리고 비정형 데이터가 혼합된 경우가 많습니다. 인터넷이나 모바일 장치 그리고 사물 인터넷에 의하여 생성되는 정보의 양이 증가하면서 빅 데이터도 성장하고 있습니다. 이는 고객의 행동이나 시장 동향과 운영 성과에 대한 통찰력을 제공할 수 있습니다.
이처럼 대규모의 데이터를 저장하고 관리, 분석할 수 있는 하드웨어와 소프트웨어 기술, 데이터를 유통하고 활용하는 모든 프로세스를 포함하고 있습니다. 기업에서 빅 데이터를 도입하려고 한다면 조직의 내부와 외부에 존재하는 여러 가지 형태의 데이터를 수집 및 처리하고 분석하여 데이터에서 의미 있는 가치를 추출하여 조직의 전략적인 의사 결정에 활용하고 비즈니스에 적용하는 행위라고 할 수 있겠습니다.
빅 데이터의 특징
빅 데이터의 특징은 5가지로 구분을 할 수가 있습니다. 먼저, Volume입니다. 규모라고 할 수 있는데 빅 데이터 양이 급격하게 증가하고 있습니다. 데이터 단위는 Zeta byte로 구성이 되어 있습니다. 다음은 Variety입니다. 데이터의 종류가 다양해지고 있습니다. 정형 데이터뿐만 아니라 반정형 데이터와 비정형 데이터가 급증하고 있습니다. SNS의 확산이 이러한 현상을 불러일으키고 있습니다. 현시대의 마케팅에서는 이런 비정형 데이터를 수집해 텍스트 마이닝을 하고 소비자의 소비심리를 예측하는 추적 광고를 진행하기도 합니다.
다음은 Velocity입니다. 데이터 수집과 처리 속도가 비약적으로 상승했습니다. 기술 발전으로 빅 데이터에 대한 분석도 가능해졌습니다. 대용량 데이터에 대한 처리 속도가 그만큼 빨라지고 있다는 것입니다. Veracity 품질입니다. 데이터의 품질과 신뢰성, 정확성, 타당성이 보장되어야 합니다. 여러 경로로 데이터가 수집되기 때문에 비즈니스 인사이트를 얻기 전 자료에 대한 검증을 먼저 해야 합니다. 마지막으로 Value입니다. 데이터 자체가 아니라 인사이트를 뽑아내야만 가치가 생기게 됩니다. 데이터가 얼마나 유용한 지는 분석가의 역량에 달려 있습니다. 분석 도구와 프로그램을 통해 비즈니스 인사이트를 추출할 수 있어야 합니다.
빅 데이터의 활용 사례
바이오를 비롯해 소셜이나 금융, 통신 등 수많은 분야에서 활용이 되고 있습니다. 아마존에서는 소비자들의 패턴을 분석해 언제 어떤 상품들을 구매할 것인지 예측해 소비자가 구매 버튼을 누르고 배송 요청을 하기 전에 미리 배송 준비를 할 수 있는 시스템을 개발하기도 했습니다. 금융 분야에서는 시장의 동향이나 리스크 및 기회를 파악하기 위해 대량의 금융 데이터를 분석하고 있습니다. 은행은 대량의 거래 데이터를 분석하고 사기를 찾아내거나 주식 시장의 동향이나 뉴스 기사를 분석해 투자 기회를 파악할 수도 있습니다.
구글의 플루 트렌드도 이를 활용하고 있습니다. 보통 사람들은 감기에 걸렸을 때 병원이나 약국에 가기 전 인터넷에 한 번씩 검색을 해보곤 합니다. 구글은 이러한 점을 파악하고 2008년부터 검색 정보와 위치 기반으로 미국의 감기 바이러스 확산 상황을 알려주는 서비스를 제공하고 있습니다. 국내 기업인 SK텔레콤도 SNS, 소셜 데이터, 검색 키워드를 통해 고객 그리고 사회 트렌드 파악 및 기업 이미지 파악 등 자체 개발한 빅 데이터 솔루션을 사용 중에 있습니다.