데이터 웨어하우스 구축에 대한 여러가지 방안중 오늘 설명드릴 구글 BigQuery는 머신러닝, 지리정보 분석, 비즈니스 인텔리전스와 같은 기본 제공 기능으로 데이터를 관리하고 분석할 수 있게 해주는 완전 관리형 엔터프라이즈 데이터 웨어하우스입니다. 오늘 웨비나 설명을 통하여 추가적으로 내용을 파악해 보시면 좋을 것 같습니다.
클라우데라가 표방하는 영역은 엔터프라이즈 데이터 클라우드 기업입니다. 기업이 보유 하고 있는 데이터의 수집/저장/처리 및 활용에 있어서 최적의 솔루션을 제공하는것을 목표로 하고 있는것 같습니다.
가격적인 영역은 1차적으로 보유 데이터의 파이프라인 구성이 필요한지, 보유 데이터가 어느정도인지, 데이터레이크 및 데이터웨어 하우스 설계를 어떻게 할지, ML AI 구조가 필요한 상황인지에 대해서 다양하게 가격이 변동 할 수 있습니다. 향후 논의가 되면 가격적인 구조를 설명을 드리는게 좋을듯 합니다. 감사합니다.
데이터레이크에 담아져 있는 데이터의 성향들이 다양하기도 하고 또한 on premise, cloud 환경에 데이터레이크를 병행해서 운영을 하시기 때문에 이에 대한 최적의 솔루션을 SDX및 아이스버그를 통합한 CDP에서 제공하고 있다고 보시면 될것 같습니다.
도입 기업에서 check 하셔야 할 영역이 많지만 주요 쟁점이라고 한다면 현재 보유 데이터 규모, 데이터 레이크 구성의 필요성, 보유 데이터의 ML/AI등의 분석요건, 활용 방안등등 사전에 공감대 형성을 해야 할 부분이 있습니다.
현재 설명을 드린 클라우데라 CDP (Cloudeara Data Platform)으로 데이터레이크 및 데이터웨어하스 , AI 분석 플랫폼 구현이 가능합니다.
데이터레이크 구성을 통하여 BI성 데이터는 클라우데라 CDP내의 Hive, Impala등과 연계하여 BI 업무를 구성할 수 있으며, AI 데이터는 CDP내의 CML (Cloudera Machine Learning)를 구성하여 사용하실수 있습니다.
클라우데라 CDP에서 다양한 데이터 포맷을 "데이터 레이크"를 구성을 할 수 있고 이를 위해서 " 데이터의 파이프라인 구성 + 데이터 저장 + 처리 + 분석" 등의 기능을 제공하고 있으며 이에 대한 컨설팅, 구축, 글로벌 서버스등의 지원을 드리고 있습니다.
SDX는 데이터 보안, 거버넌스, 데이터 리니지, 관리, 오토메이션등의 기능을 제공하고 있고, 아파치 아이스버그는 클라우데라 CDP내에 hive table query 등과 같이 open data format 등의 형태도 조회를 용이하게 할 수 있도록 오픈소스를 클라우데라에서 통합하여 CDP에서 제공하고 있습니다,
hive table, db table 의 sql query 조회가 용이하듯이 개방형 테이블 포맷은 parquet , avro , orc 같은 type이 포맷을 이야기 하고 있습니다.
SDX의 주요 기능이 데이터 보안 , 거버넌스, 리지니, 관리 , 오토메이션등의 기능을 제공하고 있습니다.
[답변]메타데이터가 많아지면 메모리 사용량이 증가하게 되는데 네임스페이스 단위로 NameNode를 등록하여 사용(HDFS Federation)하는 기능을 통하여 병목현상 감소시킬수 있으며, HDFS에서 소형 파일의 읽기 성능이 늦은 경향이 있으나 분산 쿼리 튜닝이나 캐시 기법을 사용하여 처리 성능을 향상 할 수 있습니다.
데이터 레이크를 간단히 정의하자면 구조적 및 비구조적 데이터를 저장하는 공간입니다. 이에 대한 역할을 데이터웨어하우스, 데이터베이스 ,기타 파일 시스템등등 다양한 형태로 데이터레이크를 구성할 수 있지만, 대표적으로 Hadoop 이리고 하는 아파치 에코시스템이 데이터레이크 역활을 하고 있고, 이미 오래된 용어 이지만 Hadoop의 오픈소스를 기업의 엔터프라이즈 환경에 맞게 솔루션을 제공하는 회사가 클라우데라 입니다.
데이터 처리에 대한 성능 문제는 하드웨어 및 아키텍처등 다양한 요소에 의해 발생할 수 있습니다…일반적인 것은 잘못설계된 데이터베이스, 시스템, 디스크 공간 또는 기타 시스템 리소스 부족, 과도한 쿼리 컴파일 및 재컴파일, 누락되거나 오래된 통계로 인한 잘못된 실행 계획, 쿼리 또는 부적절한 설계로 인해 실행 시간이 긴 저장 프로시저등등 다양한 요소에 의해서 발생할 수 있기 때문에 특정 솔루션에 의존에서 처리하기에는 만족스럽지는 못할 것 같습니다.
<답변> 기업에서 발생하는 데이터의 성향이 변화되고 있지만 전통적으로 일반적인 정형데이터는 DW 에서 여전히 처리하고 있습니다. 말씀하신 비정형 데이터나 미디어 파일과 같이 데이터 처리를 위해서 과거 DW 에서 데이터의 가공을 통한 분석 처리 보다는 DataLake 와 같이 정형 비정형 데이터를 용이하게 저장하고 처리할 수 있는 형태의 아키텍처로 구성을 하여 처리를 합니다. 오늘 아파치 아이스버그의 내용을 더 살펴보시면 다양한 데이터 포맷에 대한 처리 기법에 대해서 이해 하실 수 있을 것 같습니다.
안녕하세요. 굿모닝아이텍 박근봉입니다. 데이터 웨비나 세미나 진행중에 질의사항 채팅창에 댓글 주시면 답변 드리겠습니다^^
클라우데라는 플랫폼 및 분석 AI 에 강점을 가지고 있었고, 호튼웍스는 데이터 ingestion 영역에 강점을 갖고 있었습니다. 두회사의 합병으로 인하여 데이터의 수집부터 플랫폼, AI 분석 까지 빅데이터 전영역을 커버하는 회사로 자리매김을 하고 있습니다.
CDP는 Cloudera Data Platform으로 클라우드 환경에서 최적화되어 사용할 수 있는 서비스라고 이해 하시면 될것 같습니다.
서비스 운영시 장애 처리가 무럿보다도 중요한것 같습니다. 클라우데라의 자체 아키텍처 구조가 이중화 구성으로 되어 있고, 에코시스탬의 장애는 클라우대하의 Backup 및 DR을 제공하고 있고, Global support potal을 통해서 기술지원을 체계적으로 지원하고 있습니다.
Azure에서 제공하는 다양한 빅데이터 서비스사 있습니다. 비즈니스 업무 요건에 따라 Azure에서 제공하는 서비스를 선택하여 적용하실수 있습니다. 이러한 서비스중에 클라우대라의 CDP는 현재 On Premise의 데이터 레이크 및 빅데이터 관리 운영할 수 있는 클라우대라의 서비스를 Azure 기반으로 활용하실수 있도록 제공하고 있습니다.
