Part 3. 데이터 사이언스

 Part. 2 빅데이터와 데이터마이닝 에서 빅데이터가 제시하는 과제는 기업의 도전이자 기회라고 언급했다. 빅데이터의 크기는 점점 커지고 있고, 그 가치와 중요성 역시 비례하여 커지고 있다. 넷플릭스는 빅데이터를 활용하여 거대 컨텐츠 회사인 디즈니와 맞붙고 있고, 아마존이나 구글과 같은 IT 기업들은 빅데이터와 함께 그 몸집을 더욱 불려나가고 있다.

 이처럼 빅데이터의 중요성이 커지고 있는 상황에서 데이터 사이언스라는 분야가 만들어졌고, 데이터 과학자라는 직업이 탄생하게 되었다. 

 

 데이터 사이언스(데이터 과학) 은 통계, 기계학습, 수학, 프로그래밍, 비즈니스 및 IT 분야의 기술을 혼합한 학문이다. 위키피디아에서는, 

 

데이터 마이닝과 유사하게 정형, 비정형 형태를 포함한 다양한 데이터로부터 지식과 인사이트를 추출하는데

과학적 방법론, 프로세스, 알고리즘, 시스템을 동원하는 융합분야다.

 

라고 정의하는데,

"정형, 비정형 형태를 포함한 다양한 데이터" -> 다양한 데이터로부터

"지식과 인사이트를 추출하는데" -> 인사이트를 추출하는

"과학적 방법론, 프로세스,알고리즘,시스템을 동원하는 융합분야다." -> 학문이다.

 

정도로 요약하면 좋을 것이다.

 신생학문이다 보니, 원론이 존재한다기보다는, 응용학문의 성격이 짙고 강한 학문이자 분야이다. 필요할 때마다 다른 분야의 무언가를 동원해오는 학문이다 보니, 하나의 작업을 할 때 광범위한 분야의 지식이 필요한데, 당연히도 모든 영역에서 깊이 있는 기술을 갖춘 사람은 거의 없다. Harris et al 은 『분석가 분석』(2013)이라는 저서에서, 대부분의 데이터 과학자의 기술지식을 알파벳 T를 닮았다고 설명한다. 

 

데이터 과학의 T자형 기술지식

 그림에서도 볼 수 있듯이, 데이터 사이언스에서의 T 자형 기술지식은 다양한 분야에 대한 얕은 이해와 한 분야에서의 깊은 전문성을 요구한다. 수학자들은 알고리즘을 개발할 때, 어떤 알고리즘이 가장 효율적인지 최적해를 구하는 것에 집중한다. 컴퓨터 공학자들은 만들어진 프로그램이 시스템적으로 오류를 일으키지는 않을지 점검하거나, 데이터를 모아오는 엔지니어링 작업에 집중한다. 통계학자들은 해당 알고리즘이 통계적으로 올바른 분석이 되었는지 검정하거나, 데이터가 어떤 분포를 갖는지 초기 분석하는 것에 집중할 것이다.

 비즈니스 애널리틱스 관점에서, 경영인들은 해당 알고리즘이나 시스템이 경영에 관한 의사결정을 내리는 업무를 하게 된다. 이 과정에서, 데이터 사이언티스트로써 경영인들은 비즈니스에 대한 이해를 바탕으로, 해당 알고리즘이 적절한지 판단해야 한다. 아무리 훌륭한 알고리즘이라 할지라도, 회사의 시스템 상 적용하기 힘들거나, 비용에 비해 수익이 많이 없다면 무용지물이기 때문이다.

 빅데이터의 활용이 늘어감에 따라, 의사결정에 필요한 정도의 지식이 데이터 사이언스에 대해 문외한인 사람에게는 이해할 수 없을 정도로 발전했다. T자형으로, 데이터 사이언스에 대한 이해를 고루 갖추고, 비즈니스에 대한 깊은 이해를 가진 사람들이 하는 것이 비즈니스 애널리틱스다. 

 

 사람들이 빅데이터에 대해 갖는 환상 중 하나는, 한 번에 전국의(내지 전세계의) 데이터를 불러모아 가공할 만한 시스템을 개발하는 것이다. 사실, 현재 인류가 가진 컴퓨터의 성능으로는, 그 정도의 일을 하는 것이 쉽지 않다. 또한 장치적으로(소프트웨어, 하드웨어) 할 수는 있더라도, 그 데이터를 분석하고 인사이트를 추출하는데는 매우 많은 시간이 소요될 것이다.

 실제 데이터 과학 분야에서는 웬만해서 테라바이트 크기 또는 그 이상의 데이터를 분석하지 않는다. 그 이상의 데이터를 활용하는 것은 모델을 배포하고 나서부터 사용된다. 그 이후부터는 데이터 사이언스 분야에서도 컴퓨터 공학자들이 신경써야 할 부분인데, 데이터 처리 및 시스템의 구성 요소 통합 등 컴퓨터 사이언스의 영역에 더 깊어지기 때문이다. 컴퓨터 공학에는 얕은 지식을 가진 나머지 데이터 사이언티스트들은 최종 시스템에 연결될 통계 및 기계학습 모델의 초기 프로토타이핑을 하는 것이다. 이 과정에서 고려되어야 할 점은,

어떤 종류의 데이터 및 문제를 풀기 위해 어떤 방법을 사용하여야 할까? 분석방법들은 어떻게 작동하는가? 각 분석방법의 요구 사항, 장점, 약점은 무엇인가? 각 분석방법의 성과를 어떻게 평가하여야 할까?

 

 등이 있고, 비즈니스 애널리틱스 역시 이런 고민에서 파생된 학문이라고 할 수 있다. 

로드맵_ 데이터 마이닝 과정

  프로세스 관점에서 데이터 마이닝은 다음과 같이 분류된다.  

 

 여기서 독자들은 "모델의 평가, 선택" 을 보며 궁금증이 생길 것이다. 최고의 성능을 가진 분석방법이 있다면, 그 방법을 사용하면 되지, 왜 다양한 분석 방법 사이에서 고민하고, 그 성능을 평가해야 하는지 의문을 가질 수도 있다. 아무래도 그 에 대한 답은 각각의 방법들이 각기 장단점이 있다는 것이라고 할 수 있겠다. 데이터의 크기나, 패턴, 잡음, 목표 등에 따라 필요한 분석은 달라지고, 그에 최적화된 방법론들이 존재한다고 생각하면 될 것이다. 다양한 분석방법들은 서로 다른 결과를 도출하고, 수행능력은 서로 차이가 난다. 그 중, 문제 해결에 가장 유용한 것을 선택하는 것이 비즈니스적 관점에서 데이터 사이언스의 목표라고 할 수 있다.

---

다음 Part4. 데이터마이닝의 핵심 아이디어 에서는 로드맵에 써져 있는 용어를 설명하며, 데이터마이닝에서 활용되는 핵심 개념들을 소개하겠다. 

---

참고) Grlit Shmueli 外 4, 『비즈니스 애널리틱스를 위한 데이터마이닝』, WILEY(2018), p29-35