[질문] 배포와 provisoning이 하루라는 건 무슨 의미인가요? 이건 분 혹은 초 단위로 가능해야 하는 것 아닌가요?
컨테이너와 달리 VM은 운영체제와 App, Data를 모두 포함하므로 배포되는 수량에 따라 수 분~수 시간이 소요됩니다. Nutanix는 이러한 VM 기반의 배포 환경에서 자체 기술을 사용하여 빠른 시간에 대량의 VM 배포를 제공합니다.
서비스 업무 배포(Web,WAS,DB 등)를 말씀드리는 내용입니다. 해당 서비스를 배포하기 위해서는 서버, 네트워크, 스토리지 구성이 필요한데, Nutanix 사용하면 신속한 배포를 제공하고 있습니다.
아, 그러니까 단순한 EC2 같은 것의 provision 뿐 아니라, WAS, DB, super pod, pods를 포함한 완결된 전체 환경의 프러비져닝이란 말씀으로 이해하겠습니다.
[질문] 그린플럼이 postgresql 기반의 DB근간인데, 오픈소스 버전보다 추가로 지원하는 기능들이 궁금합니다
Greenplum도 오픈소스, 상용버전 두개가 있습니다. 오픈소스는 Greenplum DB엔진이며, 상용버전은 DB엔진과, 모니터링 툴, kafka/spark 등의 커넥터 들을 지원합니다.
[질 문] 포스트그레SQL과 그린플럼의 차이점은 무었인가요?
Postgresql은 OLTP용 Database이며, 그린플럼은 Postgresql을 병렬로 처리하는 솔루션입니다. 그래서 Greenplum 코어 엔진은 postgresql 를 이용합니다.
(질문) 설계 담당 엔지니어가 직접 중복제거, 아웃라이어 제거, 데이터 보완 및 검증 과정을 거쳐 정제 작업을 히는 경우 시간이 많이 소요되는데, 이 경우 시간을 획기적으로 단축될 수 있는 방안으로 제시해주실 것은 무엇이 있습니까?
보통 데이터 preparation 단계를 데이터사이언스 워크스테이션에서 실행하는 경우가 많은데, 그린플럼의 기본적인 쿼리 사용만으로 병렬처리가 되어 데이터 이동없이 이런 전처리 시간을 단축시켜줍니다. 필요시 PL/R, PL/Python으로도 SQL 쿼리에서 제공하지 않는 로직도 병렬 처리됩니다.
[질문] 그린플럼의 MPP 아키텍처는 하나의 서버 안에서 여러개의 DB 프로세스가 독립적으로 병렬 처리가 가능한지 궁금합니다.
그린플럼은 여러개 서버를 통합적으로 병렬처리하고, 또한 한 서버 안에 보통 8개 DB 프로세스가 있습니다. 그래서 4개 데이터 노드일 경우에는 4*8 해서 32개 DB 프로세스가 구동된다고 보시면 됩니다. 8노드이면 8*8 = 64개 프로세스가 독립적으로 수행됩니다.
[질문] 그렇다면 서버의 CPU 갯수가 성능에 미치는 영향이 좀 크겠네요? 처리하는 데이타의 양을 생각하면 GPU 활용이 성능에 미치는 영향은 어떠한가요?
[질문]MPP기반의 분석툴이면 다양한 원본소스들의 데이타가 적재된 데이터레이크의 대용량데이터를 분석을 위해서 COPY에서 사용해야할것 같은데, 분석 처리에 시간이 많이 걸리지 않을까요? 외부저장소를 연결하여 사용도 가능할까요?
Copy 대신 PXF를 이용해서 데이터 조회/적재를 합니다. 아래 링크 참조 부탁드립니다.
http://gpdbkr.blogspot.com/search/label/GPDB6_PXF_S3%EC%97%B0%EB%8F%99
[질문] 데이터레이크와 그린플럼 간의 데이터 연계에는 pxf라는 기술이 사용되는 것으로 아는데 이 pxf기술에 대해 간략하게 설명 부탁드립니다.
http://gpdbkr.blogspot.com/search/label/GPDB6_PXF_S3%EC%97%B0%EB%8F%99
오 아주 유익한 정보가 많네요..그린플럼에 대해 좀 더 자세히 알수 잇을 것 같네요. 감사합니다.
[질문] 코딩을 잘 모르더라도 그림플럼을 이용해서 데이터 분석이 가능한지 궁금하고, 비전공 신입직원이 사용법을 배우려면 권장되는 시간은 얼마나 될까요?
프로그래머가 만든 프로그램을 Greenplum에 적용 시킬 수 있다는 것을 강조 드리며, 습득력은 개인역량에 따라 다를것 같습니다.
[질문]In-Database 에서 데이터의 이동 없이 초대용량 데이터를 효율적으롷 분산병렬처리로 분석, 기계학습을 하기위해 가장 선행되고 중요한 선작업은 어떤게 필요한지요?
Data 저장단계에서 MPP 서버 전체에 DATA부분부터 잘 분산되어 저장되어야 됩니다.
[질문] 타 데이터 분석 플랫폼과 비교해서 가장 강점은 무엇인가요?
1.성능입니다. 모든 것이 병렬 처리됩니다. 쿼리 병렬 처리, 적재 병렬 처리, Python, R 도 병렬처리가 됩니다.
2.베어메탈, 퍼블릭 클라우드, 프라이빗 클라우드에서도 사용할 수 있습니다.
좋은 내용 감사드리며, 수고하셨습니다.