전문가 Q&A

안녕하십니까. 앤시스 코리아 양경모입니다.
1. 인공지능 붐이 일어나기 전과 후에도 여러 이론과 방법론이 발전하고 있습니다. Non-parametric 방법론은 그 중 하나입니다. 이 방법론은 데이터에 대한 가정 없이 모델을 구축하는 방식으로, 특히 데이터의 분포를 가정하지 않는 통계적 방법을 말합니다.
여기서 몇 가지 주목할만한 non-parametric 이론과 방법론을 소개해 드리겠습니다:
- K-최근접 이웃 (K-Nearest Neighbors, KNN)
- 커널 밀도 추정 (Kernel Density Estimation, KDE)
- 비모수적 가설 검정 (Non-parametric Hypothesis Testing)
- 부트스트레핑 (Bootstrap)
- 로우스톤 테스트 (Runs Test)

2. 현재 인공지능 분야에서 가우시안 프로세스와 베이지안 프로세스는 주목받고 있는 중요한 기술입니다.

가우시안 프로세스 (Gaussian Process):
가우시안 프로세스는 확률론적 모델링 방법으로, 불확실성을 추정하고 함수를 모델링하는 데 사용됩니다.
하이퍼파라미터 최적화에 활용되며, 목표 함수의 불확실성을 고려하여 최적값을 찾습니다.
예를 들어, 인공지능 모델의 하이퍼파라미터 조정에 활용됩니다.
베이지안 프로세스 (Bayesian Process):
베이지안 프로세스는 베이지안 확률론에 기반한 순차적 최적화 전략을 사용합니다.
목표 함수의 불확실성을 추정하고, 이를 기반으로 하이퍼파라미터 최적값을 찾아냅니다.
정보보안 분야에서도 AISecurity와 관련하여 베이지안 기술이 적용 가능성을 가지고 있습니다.
이러한 기술들은 인공지능 붐에서 중요한 역할을 하고 있으며, 더 많은 연구와 응용이 기대됩니다.

가우시안 프로세스(Gaussian Process, GP)는 확률적인 모델링 방법으로, 데이터의 분포를 추론하는데 사용됩니다. 이론적으로는 오래전부터 존재했지만, 딥러닝이 활성화되면서 다양한 차이점이 나타났습니다.
딥러닝과 가우시안 프로세스의 차이점:
- 딥러닝은 신경망 구조를 사용하며, 많은 뉴런과 레이어로 복잡한 함수를 근사합니다.
- 가우시안 프로세스는 확률적인 함수를 직접 모델링하며, 평균 함수와 공분산 함수를 사용합니다.
- 딥러닝은 대량의 데이터를 필요로 합니다. 많은 샘플이 있을 때 성능이 향상됩니다.
- 가우시안 프로세스는 적은 데이터로도 유연하게 모델링할 수 있습니다.
- 가우시안 프로세스는 불확실성을 확률적으로 다루기 때문에 예측에 대한 불확실성을 제공합니다.
- 딥러닝은 불확실성을 직접 다루지 않고, 예측값만 제공합니다.
- 가우시안 프로세스에서 커널 함수는 데이터 간의 상관 관계를 정의합니다.
딥러닝에서는 커널 함수 대신 활성화 함수를 사용합니다

RNN은 시계열 데이터와 순차적인 데이터를 모델링하는데 사용됩니다.
가우시안 프로세스는 시간에 따른 불확실성을 다루는데 유용합니다.
따라서 RNN과 가우시안 프로세스는 서로 보완적인 역할을 합니다.

현재 딥러닝에서 non-parametric이라는 용어는 unsupervised 학습과 관련하여 사용됩니다. 이 개념은 라벨 없는 데이터를 활용하여 모델을 훈련하는 방식을 의미합니다. Non-parametric 방법은 파라미터의 수를 고정하지 않고 데이터에 따라 유연하게 모델을 구성하는 방식입니다. 이는 클러스터링 (예: K-means)이나 차원 축소 (예: PCA)와 같은 전통적인 비지도 학습 방법과도 관련이 있습니다.

시계열과 가우시안 프로세스는 다른 개념입니다. 시계열은 시간에 따라 변화하는 데이터를 다루는 것으로, 예측, 분류 또는 패턴 인식과 같은 작업에 사용됩니다. 반면 가우시안 프로세스는 확률적 모델로, 데이터의 분포를 모델링하고 예측하는 데 사용됩니다. 이 두 개념은 서로 다른 방식으로 코딩되며, 시계열 데이터를 다루는 경우 시계열 모델링 기법을 사용하고, 가우시안 프로세스를 적용할 때는 해당 프로세스를 구현하는 방식을 따릅니다.

보통 데이터 preparation 단계를 데이터사이언스 워크스테이션에서 실행하는 경우가 많은데, 그린플럼의 기본적인 쿼리 사용만으로 병렬처리가 되어 데이터 이동없이 이런 전처리 시간을 단축시켜줍니다. 필요시 PL/R, PL/Python으로도 SQL 쿼리에서 제공하지 않는 로직도 병렬 처리됩니다.

그린플럼은 여러개 서버를 통합적으로 병렬처리하고, 또한 한 서버 안에 보통 8개 DB 프로세스가 있습니다. 그래서 4개 데이터 노드일 경우에는 4*8 해서 32개 DB 프로세스가 구동된다고 보시면 됩니다. 8노드이면 8*8 = 64개 프로세스가 독립적으로 수행됩니다.

[질문] 그렇다면 서버의 CPU 갯수가 성능에 미치는 영향이 좀 크겠네요? 처리하는 데이타의 양을 생각하면 GPU 활용이 성능에 미치는 영향은 어떠한가요?

Copy 대신 PXF를 이용해서 데이터 조회/적재를 합니다. 아래 링크 참조 부탁드립니다.
http://gpdbkr.blogspot.com/search/label/GPDB6_PXF_S3%EC%97%B0%EB%8F%99

http://gpdbkr.blogspot.com/search/label/GPDB6_PXF_S3%EC%97%B0%EB%8F%99

오 아주 유익한 정보가 많네요..그린플럼에 대해 좀 더 자세히 알수 잇을 것 같네요. 감사합니다.

프로그래머가 만든 프로그램을 Greenplum에 적용 시킬 수 있다는 것을 강조 드리며, 습득력은 개인역량에 따라 다를것 같습니다.

CNGone에서 수행했던 모 유통업체 분석DW사업에서 클라우드에서 발생하는 마케팅 데이터 로그를 DW의 데이터와 연동하여 분석하는 사례를 가지고 있습니다.

Data 저장단계에서 MPP 서버 전체에 DATA부분부터 잘 분산되어 저장되어야 됩니다.

데이터사이언티스트의 스킬셋에 따라 적합한 방식을 선택할 수 있겠습니다. 모델 개발이 가능하신 분은 PL/R, PL/Python 을 주로 사용하고, SQL쿼리에서 빌트인된 SQL함수 형태로 쓰는 방식은 조금 스킬셋이 떨어져도 사용이 가능한 방식입니다.

가장 일반적인 활용법이 데이터레이크에서 1차 데이터 정제 후 그린플럼에서 사용자 서비스를 하는 것이 대표적입니다. 데이터레이크를 콜드 데이터 보관이나 정제되지 않은 raw데이터 보관, 백업의 기능으로 활용하고 서비스 영역이나 데이터 분석 영역을 그린플럼으로 구분하는 아키텍처를 많이 사용하고 있습니다.

1.성능입니다. 모든 것이 병렬 처리됩니다. 쿼리 병렬 처리, 적재 병렬 처리, Python, R 도 병렬처리가 됩니다.
2.베어메탈, 퍼블릭 클라우드, 프라이빗 클라우드에서도 사용할 수 있습니다.

스트림 데이터 적재시에 사전에 정의한 배치 프로시저를 호출하는 형태로 적재 작업을 구성하면 적재와 병합처리까지 한번에 처리됩니다.

SAS, 파이썬 같은 분석 서버에서는 한개의 서버에서 수행되지만, 파이썬 스크립트를 Greenplum으로 실행하게 되면 여러 노드에서 병렬 수행되기 때문에 분산 처리할 수 있어 한 서버의 메모리, CPU 한계를 해결할 수 있습니다.

대화형 AI를 통해 직접 사용자가 입력한 자연어들을 분석할 수 있게 Kore.ai 에서는 Conversation Dashboard를 지원하고 있습니다. 실제 사용을 통해 사용자들이 입력한 자연어들을 분석하여 고객 응대의 효과를 측정하고 효과가 좋지 않다면 Update를 통해 고객 요청을 받아들일 수 있습니다.

[질문] 답변 주셔서 고맙습니다. 고객 요청을 받아들이기 위한 Update는 일반적으로 어떤 형태로 진행이 되나요?

Kore.ai는 금융 및 이커머스, 헬스케어등 다양한 산업에 대한 경험을 바탕으로 업종별 특화 솔루션인 HR, IT, Sales, Smart 및 Work 어시스턴트를 제공합니다. 또한 향후 제공예정인 봇스토어를 통해 사용자는 이미 업무에 특화된 봇을 일부 수정하여 회사에 신속하게 적용 할 수 있습니다.

챗봇의 대화를 대화형 AI가 보조해주고 대화형 AI는 대화를 판단하여 RPA를 실행시키고 결과를 받아서 챗봇에 결과를 보여주는 방법을 추천드립니다.

코어에이아이의 NLU 엔진은 ML/FM/KG등 멀티엔진 접근 방식을 사용하고 있으며 자체 NLP 팀이 엔진 성능을 업그레이드 하고 있습니다.

질의응답의 갯수와 대화 시나리오의 갯수와 난이도에 따라 차이가 나긴 하지만 최근 저희가 만든 사례중에 항공권 예약 하는 시나리오 1개의 경우 아마데우스와 연계 하여 2주정도 소요되었습니다.

대화를 통해 이루어지기 때문에 RPA쪽에서 추가 질문을 요청하면 사용자가 응답을 통해 질의 응답을 진행 할 수 있습니다.