[질문] 엔비디아 AI Nemo서비스에 대한 샘플을 받는 과정이나 방법도 웨비나 후에 알려주시나요?
https://developer.nvidia.com/nemo-llm-service-early-access
해당 페이지에서 신청하시면 되지만, 전세계적으로 지금 Queue가 많이 쌓여있어 당장 활용하시기는 쉽지 않은 점을 양해부탁드립니다..
[질문] 데이터 전처리 작업에 따라서 이 시스템을 적용시 학습시간을 단축할 수 있나요?
데이터 정제, ETL 과 같은 전처리 작업에도 굉장히 많은 연산량과 노력이 필요합니다. NVIDIA에서는 이러한 Data science 영역을 GPU로 가속할 수 있는 Rapids/Spark3.x in GPU/nvTabular 등을 통해 해당영역에 대한 가속을 지원하고 있습니다.
[질문] NVIDIA DGX Cloud 설명해주실 때 화면에는 금액 $36,999이 나타나고 있었는데 Azure, Google Cloud, Oracle Cloud 모두 월 이용 금액이 $36,999로 동일한 것인지 그리고 부하량이 높을 때와 낮을 때 사이의 금액 차이가 있는지 궁금합니다.
DGX Cloud의 경우 NVIDIA 상품이며, 사용자는 NVIDIA에서 제공하는 UI기반으로 job을 실행하는 구조이므로 뒷단의 Cloud업체는 중요하지 않습니다.
부하량 역시 월 단위로 할당받아서 독점해서 활용하는 구조이기 때문에, 전체 리소스가 제공된다고 이해해주시면 좋을 것 같습니다.
[질문] 그렇다면 그리 급하지 않은 job의 경우 스폿인스턴스등을 사용하여 학습을 하는 것과 같은 다양한 사용모델은 없는 것이네요?
네, 월 단위로 8-GPU가 할당된 서버를 할당 받는 단일 pricing 모델을 가지고 있습니다.
[질문] 답변 주셔서 고맙습니다. DGX Cloud의 경우, 사용자가 뒷단의 Cloud 업체에 대해 선택권도 안가지는 것인지 그리고 뒷단의 Cloud 업체에 대해 사용자가 아예 알 필요 없을 경우 여러 Cloud 업체의 대규모 장애가 발생해도 DGX Cloud는 안정적으로 활용 가능할 것 같은데 만약 모든 Cloud 업체들 중 일부 업체들만 정상 서비스가 가능한 대규모 장애가 발생하더라도 DGX Cloud가 안정적으로 서비스 제공 가능한 구조인지 궁금합니다.
안녕하세요, 말씀드렸던대로 Cloud업체 자체가 영향을 미치지는 않을 것으로 생각되지만, 특정 Cloud업체를 선호하신다면 해당 선택지 역시 존재하지 않을까 생각됩니다.
추가로, 서버를 할당받으실 때 고성능 network가 중요하기 때문에 여러 클라우드 업체중 단 하나의 클라우드 업체만 선택되게 될 것입니다.
말씀주신 SLA에 대해서는 필요시 아래 주소로 문의주시면 조금 더 자세한 정보전달이 가능하지 않을까 생각됩니다.
https://www.nvidia.com/ko-kr/data-center/dgx-cloud/
chatGPT의 여파로 코인사태이후에 또다시 AI용으로 GPU의 수요가 폭발할거라는 얘기를 들었는데 어떻게 생각하시는지요?
NVIDIA의 Enterprise GPU는 AI의 두번째 물결부터 지금까지 그 수요가 꾸준히 증가되고 있고, 지금의 trend라고 할 수 있는 chatGPT와 같이 Large-scaled LLM 진영에서 이를 학습하기 위해 막대한 량의 GPU가 필요한 상황입니다.
어떻게 될지는 모르겠으나, NVIDIA는 AI가 우리 생활에 도움이 될 수 있게 많은 노력과 기여를 해오고 있습니다.
[질문] 한국어 기반 모델을 별도 만들지 말고 gpt를 멀티랭기지가 지원하도록 학습시키는 것이 더 효과적일것 같은데 그럴 가능성은 어려운지 궁금합니다
Large scaled LLM진영에서는 말씀 주신 multi lingual model학습에 대한 연구도 함께 진행되고 있습니다. 이를테면 GPT와 동반 성장중인 T5모델과 같은 경우는 그의 branch겪인 mT5로 multi-lingual model에 대해 연구되었고 계속하고 있는 것으로 알고 있습니다.
아 T5는 멀리 랭기지 모델로 발전하고 있군요...답변 감사합니다.
[질문] 대학교에서 학생들에게 인공지능 수업을 진행할려고 하면, 어떤 급의 GPU를 추천해 주실 수 있는지 궁금합니다. 예를들어 RTX A5000 이상이든지?
대학교에서 인공지능 수업을 진행시 사용하실 Model을 기준으로 선택하시는 것이 좋을 것 같습니다.
AI 및 HPC관련하여 모델별 학습 및 추론에 대한 성능 benchmark를 아래의 사이트에서 확인 하실 수 있습니다.
https://developer.nvidia.com/deep-learning-performance-training-inference
아...그렇군요...좋은 답변 고맙습니다.
[질문] 한국어로 기반 파운데이션 모델을 가지고 있는 것은 소수이면 추가 학습을 위한 자사만의 한국어 모델을 가지려면 어떤 고려점이나 준비가 있어야 할까요?
Foundation model을 한국어 기반으로 from the scratch로 학습하기위한 data준비 그리고 학습 인프라에 대한 투자 확인이 필요합니다. 그리고 타겟하는 모델의 크기에 따라 준비된 데이터의 학습에 걸리는 시간이 다를 수 있으니 이에 대한 benchmark를 수행하여 project 수행 기간과 계획을 잡는 것이 좋습니다.
[질문] NVIDIA GTC2023의 가장 핵심적인 사항은 무엇인지 궁금합니다.
3 Keys: Cloud trend, LLM & Generative AI, increasing # of accelerated computing domains 로 볼 수 있을 것 같아요 :)
[질문] 엔비디아의 picasso 서비스가 DALL-E 와 같이 모달 AI 같은 서비스 같은데 요즘 DALL-E를 나쁜쪽으로 이용하는 사람도 많은데 picasso는 이런 요청을 한번 더 필터링을 할 수있는 서비스인지 궁금합니다.
NVIDIA의 Nemo, Picasso는 Enterprise target의 서비스입니다.
즉, Nemo에서도 Guardrail이라고 불리는 혐오발언 등의 차단을 위해 노력하고 있고, Picasso역시 마찬가지의 노력을 하고 있다고 봐주시면 좋을 것 같습니다.
아 그렇군요...역시 엔비디아네요...답변 감사합니다.
ChatGPT 경우 3.5 무료 버전을 사용자가 폭넒게 사용할수 있게 했어 1억명이 사용하는데 두달이 걸렸다고 합니다.
엔디비아의 AI서비스도 ChatGPT처럼 일반 사용자가 접근하시 쉬운 인터페이스와 서비스로 사용자 확산을 할 계획은 없는지요?
ChatGPT와 같은 솔루션들이 경쟁하여 그중 하나를 선택하는 방식이 아니라 병렬, 또는 직렬 연결하여 기능을 극대화 하거나 더 나은 기능을 시현토록 하는 방법은 없을까요?
[질문] AWS 에 F5 WAF 를 구성할 계획인데요 WAAP 를 활용한 봇디펜스를 구성할 수 있는지와 가능한경우 AWS 에도 LTM 등이 필요로 하는지 궁금합니다.
AWS에 F5 WAF를 구성하실 계획이면 그 WAF와 WAAP Bot Defense와 연동을 통해 구현할 수 있습니다. F5 AWAF 설치 계획이시면 별도의 LTM 은 필요 없습니다.
AWS 환경에서는 더 쉽게 연동을 제공하기 위해 별도의 Connector를 제공하고 있습니다. 이 Connector를 이용하면 CloudFront를 통해 봇 솔루션과 연동을 할 수 있습니다. 물론 BIG-IP WAF솔루션으로도 연동이 가능도 하구요.
[질문] 데모 화면에서 HTTP Load Balancers라는 내용을 볼 수 있었는데 별도의 L4 스위치 없이 f5의 SaaS 형 WAP만 활용하여 웹 서버 부하 분산이 가능한 것인가요?
네 F5는 NGINX를 인수하였으며, SaaS WAAP는 기본적으로 Load Balancer기능을 제공합니다.
저희 분산 클라우드의 서비스 설정 구조상 내부적으로 LB를 구성 후 LB에 보안 정책을 적용하는 방식이기 때문에 내부적으로 사용하는 LB라도 보시면 됩니다. 즉, 직접 SaaS WAP <> 고객사 서버로 프록시 또는 부하분산이 제공됩니다.
[질문] 봇 디펜스 오탐의 발생 가능성에 대한 F5의 대응방안이 궁금합니다!
봇 방어 또한 오탐은 발생 가능할 수도 있습니다. 이 부분을 최적화하기 위해 지속적으로 BIG DATA 기반의 ML을 통해 학습을 하고 있습니다. 봇의 오탐률은 기존 웹방화벽의 오탐률과 비교해서 아주 미비한 수준으로 이해해주시면 좋습니다.
WAAP는 정교하고 진화하는 봇 트래픽을 방어하기 위해 원격 측정 기법을 통해 봇 트래픽과 정상 사용자 트래픽을 정확히 구분합니다. 오탐은 고객사 환경에 예외처리 과정에서 발생될 수 있으며, 이는 고객과 F5 SOC 팀과의 사전에 상의를 통해 예외처리 할 수 있습니다.
[질문] WAAP 이 기존 WAF에 비해 정책을 설정하고 운영하는 과정에서 어떤 점이 편리하고 쉬운것인지 설명을 부탁드립니다.
기존 WAF에서는 보호대상의 정책을 설정하는 과정에서 시간이 어느정도 소요되고, 예외 정책의 경우 하나하나 입력해야 했는데.. 이런관점에서 쉬워진 면이 있나요?
기존 WAF는 클라우드 환경 및 온프레미스 환경에 일일이 설치하고, 보안 정책을 적용하나, SaaS 기반 WAAP는 고객이 원하는 환경에 상관없이 보안 정책을 쉽게 적용하고, 통합적인 관리 및 모니터링을 제공합니다.
기존 설치형 WAF 대비 클라우드 WAAP의 경우 가장 큰 차이점 중 하나가 오탐 관리를 최적화할 수 있는 기술을 함께 제공한다는 부분 입니다. 정책 설정의 간편화에 대해서는 데모를 참고해보시고, 오탐 관리 기능에 대해서 AI/ML 기반 오탐의 확률을 정보를 제공하고 그 정보를 기반으로 담당자가 결정을 쉽게 하실 수 있도록 도음을 드릴 수 있습니다.
[질문] 모델링 데이터의 실시간 업데이트시 관련 문서의 내용도 함께 갱신되어지는지 궁금합니다.