전문가 Q&A

https://developer.nvidia.com/nemo-llm-service-early-access
해당 페이지에서 신청하시면 되지만, 전세계적으로 지금 Queue가 많이 쌓여있어 당장 활용하시기는 쉽지 않은 점을 양해부탁드립니다..

데이터 정제, ETL 과 같은 전처리 작업에도 굉장히 많은 연산량과 노력이 필요합니다. NVIDIA에서는 이러한 Data science 영역을 GPU로 가속할 수 있는 Rapids/Spark3.x in GPU/nvTabular 등을 통해 해당영역에 대한 가속을 지원하고 있습니다.

DGX Cloud의 경우 NVIDIA 상품이며, 사용자는 NVIDIA에서 제공하는 UI기반으로 job을 실행하는 구조이므로 뒷단의 Cloud업체는 중요하지 않습니다.
부하량 역시 월 단위로 할당받아서 독점해서 활용하는 구조이기 때문에, 전체 리소스가 제공된다고 이해해주시면 좋을 것 같습니다.

[질문] 그렇다면 그리 급하지 않은 job의 경우 스폿인스턴스등을 사용하여 학습을 하는 것과 같은 다양한 사용모델은 없는 것이네요?

네, 월 단위로 8-GPU가 할당된 서버를 할당 받는 단일 pricing 모델을 가지고 있습니다.

[질문] 답변 주셔서 고맙습니다. DGX Cloud의 경우, 사용자가 뒷단의 Cloud 업체에 대해 선택권도 안가지는 것인지 그리고 뒷단의 Cloud 업체에 대해 사용자가 아예 알 필요 없을 경우 여러 Cloud 업체의 대규모 장애가 발생해도 DGX Cloud는 안정적으로 활용 가능할 것 같은데 만약 모든 Cloud 업체들 중 일부 업체들만 정상 서비스가 가능한 대규모 장애가 발생하더라도 DGX Cloud가 안정적으로 서비스 제공 가능한 구조인지 궁금합니다.

안녕하세요, 말씀드렸던대로 Cloud업체 자체가 영향을 미치지는 않을 것으로 생각되지만, 특정 Cloud업체를 선호하신다면 해당 선택지 역시 존재하지 않을까 생각됩니다.
추가로, 서버를 할당받으실 때 고성능 network가 중요하기 때문에 여러 클라우드 업체중 단 하나의 클라우드 업체만 선택되게 될 것입니다.

말씀주신 SLA에 대해서는 필요시 아래 주소로 문의주시면 조금 더 자세한 정보전달이 가능하지 않을까 생각됩니다.
https://www.nvidia.com/ko-kr/data-center/dgx-cloud/

NVIDIA의 Enterprise GPU는 AI의 두번째 물결부터 지금까지 그 수요가 꾸준히 증가되고 있고, 지금의 trend라고 할 수 있는 chatGPT와 같이 Large-scaled LLM 진영에서 이를 학습하기 위해 막대한 량의 GPU가 필요한 상황입니다.
어떻게 될지는 모르겠으나, NVIDIA는 AI가 우리 생활에 도움이 될 수 있게 많은 노력과 기여를 해오고 있습니다.

Large scaled LLM진영에서는 말씀 주신 multi lingual model학습에 대한 연구도 함께 진행되고 있습니다. 이를테면 GPT와 동반 성장중인 T5모델과 같은 경우는 그의 branch겪인 mT5로 multi-lingual model에 대해 연구되었고 계속하고 있는 것으로 알고 있습니다.

아 T5는 멀리 랭기지 모델로 발전하고 있군요...답변 감사합니다.

대학교에서 인공지능 수업을 진행시 사용하실 Model을 기준으로 선택하시는 것이 좋을 것 같습니다.
AI 및 HPC관련하여 모델별 학습 및 추론에 대한 성능 benchmark를 아래의 사이트에서 확인 하실 수 있습니다.
https://developer.nvidia.com/deep-learning-performance-training-inference

아...그렇군요...좋은 답변 고맙습니다.

Foundation model을 한국어 기반으로 from the scratch로 학습하기위한 data준비 그리고 학습 인프라에 대한 투자 확인이 필요합니다. 그리고 타겟하는 모델의 크기에 따라 준비된 데이터의 학습에 걸리는 시간이 다를 수 있으니 이에 대한 benchmark를 수행하여 project 수행 기간과 계획을 잡는 것이 좋습니다.

3 Keys: Cloud trend, LLM & Generative AI, increasing # of accelerated computing domains 로 볼 수 있을 것 같아요 :)

NVIDIA의 Nemo, Picasso는 Enterprise target의 서비스입니다.
즉, Nemo에서도 Guardrail이라고 불리는 혐오발언 등의 차단을 위해 노력하고 있고, Picasso역시 마찬가지의 노력을 하고 있다고 봐주시면 좋을 것 같습니다.

아 그렇군요...역시 엔비디아네요...답변 감사합니다.

네 가능합니다. 차단 시 Reset / 특정 Page 메세지 전달 / 특정 site로 Redirection 3가지 방식을 제공합니다.

AWS에 F5 WAF를 구성하실 계획이면 그 WAF와 WAAP Bot Defense와 연동을 통해 구현할 수 있습니다. F5 AWAF 설치 계획이시면 별도의 LTM 은 필요 없습니다.

AWS 환경에서는 더 쉽게 연동을 제공하기 위해 별도의 Connector를 제공하고 있습니다. 이 Connector를 이용하면 CloudFront를 통해 봇 솔루션과 연동을 할 수 있습니다. 물론 BIG-IP WAF솔루션으로도 연동이 가능도 하구요.

네 F5는 NGINX를 인수하였으며, SaaS WAAP는 기본적으로 Load Balancer기능을 제공합니다.

저희 분산 클라우드의 서비스 설정 구조상 내부적으로 LB를 구성 후 LB에 보안 정책을 적용하는 방식이기 때문에 내부적으로 사용하는 LB라도 보시면 됩니다. 즉, 직접 SaaS WAP <> 고객사 서버로 프록시 또는 부하분산이 제공됩니다.

사용자 원격측정기법을 통해 접속하는 트래픽의 Device 환경 및 사용자 행동(마우스 움직임, 키보드 입력 패턴)을 정확히 구분하는 알고리즘이 있습니다.

Custom Signature 를 생성하여, 예외처리 하거나, 만약 특정 고유값 예를 들어 특정 User Agent 값이 있다면 그 값으로 예외처리가 가능합니다.

봇 방어 또한 오탐은 발생 가능할 수도 있습니다. 이 부분을 최적화하기 위해 지속적으로 BIG DATA 기반의 ML을 통해 학습을 하고 있습니다. 봇의 오탐률은 기존 웹방화벽의 오탐률과 비교해서 아주 미비한 수준으로 이해해주시면 좋습니다.

WAAP는 정교하고 진화하는 봇 트래픽을 방어하기 위해 원격 측정 기법을 통해 봇 트래픽과 정상 사용자 트래픽을 정확히 구분합니다. 오탐은 고객사 환경에 예외처리 과정에서 발생될 수 있으며, 이는 고객과 F5 SOC 팀과의 사전에 상의를 통해 예외처리 할 수 있습니다.

기존 WAF는 클라우드 환경 및 온프레미스 환경에 일일이 설치하고, 보안 정책을 적용하나, SaaS 기반 WAAP는 고객이 원하는 환경에 상관없이 보안 정책을 쉽게 적용하고, 통합적인 관리 및 모니터링을 제공합니다.

기존 설치형 WAF 대비 클라우드 WAAP의 경우 가장 큰 차이점 중 하나가 오탐 관리를 최적화할 수 있는 기술을 함께 제공한다는 부분 입니다. 정책 설정의 간편화에 대해서는 데모를 참고해보시고, 오탐 관리 기능에 대해서 AI/ML 기반 오탐의 확률을 정보를 제공하고 그 정보를 기반으로 담당자가 결정을 쉽게 하실 수 있도록 도음을 드릴 수 있습니다.

SaaS 서비스는 기본적으로 24/7 서비스를 제공합니다. 요금제는 년 계약 Subscription 요금제이며, 보호하고자 하는 Transaction 양에 따라 요금제가 달라집니다.