Part. 2 빅데이터와 데이터마이닝

   Part. 1 비즈니스 애널리틱스에서 '데이터 마이닝 방법에 대한 정확한 이해'가 중요하다고 언급을 하며 글을 마쳤다.

이번 글에서는 데이터 마이닝의 정의와 관련 용어, 빅데이터의 정의에 대해 알아보겠다.

 

데이터마이닝(DataMining)

"데이터마이닝이란 대규모의 데이터 속에서 체계적이고 자동적으로

통계적 규칙이나 패턴을 분석하여 가치있는 정보를 추출하는 과정. ^[각주:1]

비즈니스에서 데이터마이닝은 계산, 기술 통계, 리포팅 및

비즈니스 규칙을 기반으로 하는 방법을 뛰어넘는 비즈니스 분석 방법을 의미"

 

 데이터 마이닝은 의사 결정을 자동화하는 방식으로 정보를 제공하는 통계 및 기계학습(Machine Learning) 방법을 포함한다. 데이터 마이닝은 통계학과 기계학습(인공지능)의 결합이다. 

사실 통계학의 세계에서는 오래 전부터 데이터를 설계하는 다양한 기술들이 존재해왔다. 그러나 데이터마이닝은 고전 통계학의 격언인 "계산은 어렵고, 데이터는 적다" 를 풍족한 데이터와 압도적인 컴퓨팅 능력을 통해 해결한다.

Daryl Pregibon 은 데이터 마이닝을 "규모와 속도의 통계학" 이라고 일컫는다. 

 

 통계와 데이터마이닝의 또 다른 차이점은 통계는 평균 효과를 근거로 모집단에 대한 추론에 집중하는 반면, 데이터 마이닝은 개개인의 값을 예측하는 것에 초점을 두는 것이다. 

예측은 데이터마이닝에서 일반적으로 중요한 구성 요소이며, 개인 단위로 분석되곤 한다. 

"광고와 판매 사이의 관계는 무엇인가?" 라는 질문처럼 시장에 관심이 있는 것이 아니라

"특정 광고나 추천 제품을 지금 어떤 온라인 구매자에게 보여주어야 하는가?" 라는 질문처럼 개인에 관심이 있는 것이다.

 

사실 데이터마이닝은 추론에 관심이 없다고 해도 과언이 아니다.

 

 통계방법론과는 달리 데이터마이닝은 큰 규모의 데이터셋을 다루기 때문에, 추론이 답하고자 하는 질문들에 제한을 두는 것이 어렵다. 몇 가지 표본을 가지고 모집단을 추론하려고 데이터마이닝을 사용하는 것이 아니다. 데이터마이닝은, 어쩌면 그 반대의 방법론이라고 할 수 있다. 많은 데이터가 확보되어 있는 상태에서(어쩌면 모집단이라 할 수 있는) 그 데이터를 바탕으로, 작은 표본들의 공통점과 차이점을 찾아가는 과정이 데이터마이닝이다. 

 

 물론 그렇다고 해서 통계방법론이 데이터마이닝 분야에서 쓸모없다고 생각하는 것 역시 금물이다. 데이터마이닝 분야에서, 기계학습과 통계모델은 반의어이고, 서로의 역할이 다를 뿐 주요하게 사용된다. 이 통계모델의 근간이 되는 것이 통계방법론이고, 데이터마이닝은 통계방법론이 적용된 모델을 사용한다고 볼 수 있다. 

 

기계학습

계층적 또는 반복적인 방식으로 직접 데이터로부터 학습하는 알고리즘 (Ex. k- 최근접이웃 알고리즘)

통계모델

데이터 전체 구조를 적용하는 방법(Ex. 선형 회귀모델)

 

 수많은 데이터에서는, 인간의 사고로는 이해하기 힘든 공통점이 발견되기도 하고, 그 안에서 인사이트가 나오기도 한다. (후에 자세히 설명하겠지만, 장바구니 분석은 맥주를 사는 고객이 기저귀를 산다는 인사이트를 가져오기도 했다.) 물론 이 과정에서 데이터마이닝은 과적합 위험 (공학 용어로, 모형이 신호 뿐만 아니라 잡음까지도 분석하게 되는 현상_ 역시 추후 자세히 설명)에 빠지기도 하지만, 올바른 예측이 비즈니스에 가져다주는 인사이트와 이점은 상당하다.  

 

 위에서부터 계속 대규모의 데이터, 큰 규모의 데이터를 언급했지만, 이제부터는 빅데이터를 직접 언급하고자 한다. 

빅데이터(Big Data) 시대는 데이터 마이닝 사용을 가속화한다. 데이터 마이닝은 강력하고 자동화된 기능으로 비즈니스에서 대용량 데이터를 빠르게 처리하고 가치를 추출할 수 있도록 돕는다. 빅데이터는 상대적인 용어이다. 오늘날의 데이터는 과거와 비교해서, 모든 것이 대용량이다. 절대적인 양도 그렇고, 처리할 수 있는 방법과 그 장치(소프트웨어, 하드웨어) 등 모든 것이 많아지고 발전해있는 상태이다. 

 

빅데이터가 제시하는 과제는 4가지 V로 정의할 수 있다.

 

Volume (부피)

데이터의 양

Velocity (속도)

유동률, 데이터가 생성되거나 변경되는 속도

Variety (다양성)

생성되는 다양한 유형의 데이터( 날짜, 숫자, 텍스트 등 )

Veracity (진실성)

수집되는 데이터가 연구를 위해 통제되고 품질 검사 대상이 되는 존재가 아님

 

 이제 대부분의 기업들은 빅데이터가 제시하는 과제라는 도전이자 기회에 직면해 있다. 모든 것이 디지털로 변환되는 시대에, 우리가 하는 모든 행위는 곧 데이터로 저장된다. 심지어 센서의 발달로 우리가 주는 아날로그 신호(언어, 행동 등) 도 데이터로 변환이 되어 생성되고 있다. 노력한다면 이 모든 데이터들을 분석할 수 있고, 가치를 만들어 낼 수 있다. 빅데이터 시대 이전에는 결코 실현될 수도, 상상할 수도 없었던 일들이 일어나고, 주류(Mainstream)가 되어가고 있는 비즈니스 환경이 도래했다.  

 

---

다음 Part3. 데이터 사이언스 에서는 데이터 사이언스의 정의와 다양한 분석방법들의 로드맵과 존재 이유에 대해 알아보겠다.

---

참고) Grlit Shmueli 外 4, 『비즈니스 애널리틱스를 위한 데이터마이닝』, WILEY(2018), p28-31

 

1. 이재규,권순범,임규건. 《경영정보시스템원론(제2판), 2005, 534p》. 법영사. ISBN-10 : 027375453X / ISBN-13 : 9780273754534. [본문으로]