수고 하셨습니다.
분석 플랫폼 전체 아키텍처가 가상화/클라우드 환경이면 그린플럼도 가상화/클라우드로 구성하는 것이 좋고, 베어메탈로 구성된 아키텍처이면 베어메탈로 구성하는 것을 권고드립니다.
Postgresql 99.9% 이상 그대로 사용이 가능합니다. 0.1%는 병렬처리 되는 아키텍처가 하나 추가 되었다고 보시면 됩니다. (그대로도 사용가능하지만, 더 잘쓰기 위한 용도라고 보시면 됩니다.)
Greenplum도 오픈소스, 상용버전 두개가 있습니다. 오픈소스는 Greenplum DB엔진이며, 상용버전은 DB엔진과, 모니터링 툴, kafka/spark 등의 커넥터 들을 지원합니다.
Postgresql은 OLTP용 Database이며, 그린플럼은 Postgresql을 병렬로 처리하는 솔루션입니다. 그래서 Greenplum 코어 엔진은 postgresql 를 이용합니다.
https://rfriend.tistory.com/635
주요한 포인트를 이미 알고 계신 것 같습니다. DB내에서 직접 고급분석 ML/DL(pl/python, pl/pytho 등) 을 할 수 있습니다.
Copy 대신 PXF를 이용해서 데이터 조회/적재를 합니다. 아래 링크 참조 부탁드립니다. http://gpdbkr.blogspot.com/search/label/GPDB6_PXF_S3%EC%97%B0%EB%8F%99
http://gpdbkr.blogspot.com/search/label/GPDB6_PXF_S3%EC%97%B0%EB%8F%99
그린플럼 In-DB로 머신러링 구동이 가능합니다. 글로벌에서는 많은 공공 사례가 있습니다
그린플럼은 여러개 서버를 통합적으로 병렬처리하고, 또한 한 서버 안에 보통 8개 DB 프로세스가 있습니다. 그래서 4개 데이터 노드일 경우에는 4*8 해서 32개 DB 프로세스가 구동된다고 보시면 됩니다. 8노드이면 8*8 = 64개 프로세스가 독립적으로 수행됩니다.
X86서버, VM으로 가능합니다. 노드만 추가하면 용량확장이 가능합니다. 온프렘, 클라우드 환경 동일합니다.
하둡도 병렬처리, 그린플럼도 병렬처리입니다. 그린플럼이 주된 장점은 병렬처리되는 Database입니다. 그래서 대용량 데이터를 빠르게 SQL, R, Python 를 구동하기 때문에 보다 쉽게 업무를 적용할 수 있습니다.
보통 파티션를 이용해서 관리하고 있습니다.
1.성능입니다. 모든 것이 병렬 처리됩니다. 쿼리 병렬 처리, 적재 병렬 처리, Python, R 도 병렬처리가 됩니다. 2.베어메탈, 퍼블릭 클라우드, 프라이빗 클라우드에서도 사용할 수 있습니다.
Greenplum 처리방식도 병렬 처리입니다. SQL 처리, Python, R 처리 전부 병렬처리입니다. CPU와 메모리 포함된 서버를 여러대를 하나의 클러스터로 구성하는 아키텍처입니다
HDFS, S3 뿐만 아니라 JDBC를 사용하는 DB도 그린플럼에서 조회를 할 수 있습니다. 좀 전에 발표자가 이야기 했던 PXF이며, External Table 형태로 사용합니다.
비정형 데이터로서는 XML, Json 데이터 타입을 지원하기 때문에 정형/비정형 데이터를 처리할 수 있습니다. 이미지같은 경우에는 다른 솔루션을 이용해서 Text로 변환하면 이를 분석할 수 있습니다.
On-Premise와 AWS, 애저, GCP에도 Greenplum을 사용할 수 있고, Private Cloud에서도 구동이 가능합니다.
SAS, 파이썬 같은 분석 서버에서는 한개의 서버에서 수행되지만, 파이썬 스크립트를 Greenplum으로 실행하게 되면 여러 노드에서 병렬 수행되기 때문에 분산 처리할 수 있어 한 서버의 메모리, CPU 한계를 해결할 수 있습니다.
