<답변> 기업에서 발생하는 데이터의 성향이 변화되고 있지만 전통적으로 일반적인 정형데이터는 DW 에서 여전히 처리하고 있습니다. 말씀하신 비정형 데이터나 미디어 파일과 같이 데이터 처리를 위해서 과거 DW 에서 데이터의 가공을 통한 분석 처리 보다는 DataLake 와 같이 정형 비정형 데이터를 용이하게 저장하고 처리할 수 있는 형태의 아키텍처로 구성을 하여 처리를 합니다. 오늘 아파치 아이스버그의 내용을 더 살펴보시면 다양한 데이터 포맷에 대한 처리 기법에 대해서 이해 하실 수 있을 것 같습니다.
데이터 처리에 대한 성능 문제는 하드웨어 및 아키텍처등 다양한 요소에 의해 발생할 수 있습니다…일반적인 것은 잘못설계된 데이터베이스, 시스템, 디스크 공간 또는 기타 시스템 리소스 부족, 과도한 쿼리 컴파일 및 재컴파일, 누락되거나 오래된 통계로 인한 잘못된 실행 계획, 쿼리 또는 부적절한 설계로 인해 실행 시간이 긴 저장 프로시저등등 다양한 요소에 의해서 발생할 수 있기 때문에 특정 솔루션에 의존에서 처리하기에는 만족스럽지는 못할 것 같습니다.
<질문>기업전략을 짜는데 있어 수집된 데이터를 활용하는것은 정말 중요한 일입니다. 하지만 현실에선 방대하게 늘어나는 데이터에서 가치있는 정보를 뽑아내기가 쉽지 않은게 사실입니다. 그런점에서 몇가지 문의드립니다. 1. 일반적인 데이터 웨어하우스는 정형 데이터가 중심이다보니 요즘같은 다양한 미디어파일(소셜미디어, 이미지, 음성등)같은 데이터를 처리하기 힘든데요. 혹시 이런 정보처리가 가능한가요? 2. 과도한 데이터를 처리하다보면 통상적으로 병목현상에 따른 성능저하가 생기기 마련입니다. 이런 점들에 대한 솔루션이 있는지요?