초기에는 SNS, 인터넷, 이메일 등 기존 정형데이터와는 원천이 다른 다양한 형태의 데이터들이 빠른 속도로 증가하면서, 대용량 데이터 특히 빅데이터라고 불리는 비정형을 포함한 새로운 구조의 데이터를 빠르고 정확하게 처리하는  것이 한동안 뜨거운 이슈로 대두되었습니다.

하지만 빅데이터를 처리하고 분석하는 것의 실제 목적이 최종적으로 비지니스에 부가가치(이익)를 창출하기 위함인 것만은 아닙니다. 지금까지 수행된 많은 빅데이터 프로젝트나 사업들이 얼마나 많은 실질적인 효과를 가져왔나를 살펴볼 때, 우리는 빅데이터 분석이 실제로 지향해야 할 방향에 대해 다시 한번 고민할 수 밖에 없습니다. 단절되거나 산재되어 있는 여러 시스템들 사이에서 이루어지는 단편적인 작업으로는 빅데이터를 통해 효과적/효율적으로 비지니스 가치를 창출할 수 없습니다. 단일 플랫폼에서 일체 지향적인 워크플로우를 구현했을 때만이 그 효과를 극대화할 수 있을 것입니다.

빅데이터 플랫폼이라면, 다양한 원천의 데이터에 쉽게 접근하여 읽어오고, 이를 즉각적으로 가공할 수 있어야만 합니다. 더 나아가 이를 바탕으로 최신의 머신러닝 및 인공지능(AI) 알고리즘을 접목시킴으로써, 최선의 결과를 예측하고 시뮬레이션이 가능해야 합니다. 물론 이 모든 작업은 하나의 워크플로우로 통합하여, 조직 일부가 아닌 전체에 걸쳐 효과를 얻고 추가적인 수익을 창출할 수 있어야 할 것입니다.

따라서 이를 구현하기 위해 필수적인 데이터 통합을 포함해, 데이터 Blending과 머신러닝의 유기적인 결합의 필요성에 대해 논의를 해보고자 합니다.