회원

Blackwell 제품 특징란에 Beyond 100K GPUs라는 멘트가 있습니다. scaling에는 문제가 없을 것이고 아직 제품이 양산이 된 상태는 아니기 때문에 프로젝트 자체의 사례는 GTC에서 공개된 내용 이외에는 제한적일 것 같습니다.

NVIDIA 역시 Jetson이라는 Embedded Platform을 가지고 있고 많은 투자를 하고 있습니다.

NIM은 NVIDIA AI Enterprise라는 라이센스를 요구하고 있습니다. 아래에서 가격정책을 확인하실 수 있습니다. https://www.nvidia.com/en-us/data-center/products/ai-enterprise/#nv-accordion-debc948918-item-30ae859ca8

하나의 예시일뿐이지만, AWS와 GB200관련 Project Ceiba라는 프로젝트에서 대략적인 규모가 나와있습니다. 물론 전체 규모는 아니고 하나의 프로젝트로 이해해주시면 좋을 것 같습니다. https://blogs.nvidia.co.kr/2024/03/21/aws-nvidia-generative-ai-innovation/

NVIDIA는 CUDA뿐 아니라 각각의 워크로드 (컴퓨터 비젼, LLM, 헬스케어, 로보틱스등) 에 최적화된 SDK를 가지고 있습니다. 이러한 SDK를 통해 GPU util을 극대화할 수 있고 개발 시기를 낮출 수 있습니다.

NVIDIA는 새로운 architecture가 발표될때마다 새로운 CUDA버젼을 활용하게 됩니다. 참고로 현재 Hopper는 CUDA 12기반으로 동작하고 있습니다.

OEM서버를 구매하시기 위해서는 OEM벤더사에 직접 문의해주시면 될 것 같습니다.

NVIDIA는 다양한 OEM 파트너와 함께 협력하고 있습니다. 하단의 링크에서 NVIDIA가 인증한 Certified Server목록을 확인하실 수 있습니다. https://www.nvidia.com/en-us/data-center/products/certified-systems/

지금도 마찬가지이지만, 향후에는 더욱 더 Computing 단위의 연산이 단일서버에서 데이터센터로 확장될 것입니다. 즉 수백~수만대의 GPU가 서로 통신을 하며 단일 워크로드를 수행하는 경우가 많아지고 있고 이로 인해 효율적인 네트워크 대역폭이 중요하다고 볼 수 있습니다.

전력효율성은 NVIDIA가 매우 중요하게 생각하는 요소 중 하나입니다. GPU는 기존 CPU대비 매우 높은 전력효율성을 가지고 있고 매 architecture가 발표될때마다 기존 대비 적어도 2배 이상의 전력효율성을 가지고 있음을 확인하실 수 있습니다.

감사합니다. 우선 B200과 GB200은 다른 제품입니다. GB200은 Grace CPU + 2개의 Blackwell GPU가 장착된 제품이지만, B200은 단일 칩을 의미하고 B100보다 높은 소비전력 및 높은 성능을 가지고 있는 것이 주된 차이입니다. 더욱 자세한 내용은 웨비나에서 다뤄질 예정입니다.

안녕하세요, 말씀드렸던대로 Cloud업체 자체가 영향을 미치지는 않을 것으로 생각되지만, 특정 Cloud업체를 선호하신다면 해당 선택지 역시 존재하지 않을까 생각됩니다. 추가로, 서버를 할당받으실 때 고성능 network가 중요하기 때문에 여러 클라우드 업체중 단 하나의 클라우드 업체만 선택되게 될 것입니다. 말씀주신 SLA에 대해서는 필요시 아래 주소로 문의주시면 조금 더 자세한 정보전달이 가능하지 않을까 생각됩니다. https://www.nvidia.com/ko-kr/data-center/dgx-cloud/

Nemo는 Pytorch를 보다 high-level로 wrapping한 Pytorch Lightning이라고 불리는 툴을 또한번 NVIDIA가 특정 워크로드에 맞게끔 wrapping한 오픈소스 프레임워크입니다. Nemo의 워크로드에 잘 맞다면 Nemo를 활용하시는 것도 한 가지 좋은 방법이고, 그렇지 않다면 기존처럼 Pytorch를 통해 구현하시는 것 역시 물론 가능합니다. https://github.com/NVIDIA/NeMo

https://developer.nvidia.com/nemo-llm-service-early-access 해당 페이지에서 신청하시면 되지만, 전세계적으로 지금 Queue가 많이 쌓여있어 당장 활용하시기는 쉽지 않은 점을 양해부탁드립니다..

네, 월 단위로 8-GPU가 할당된 서버를 할당 받는 단일 pricing 모델을 가지고 있습니다.

DGX Cloud의 경우 NVIDIA 상품이며, 사용자는 NVIDIA에서 제공하는 UI기반으로 job을 실행하는 구조이므로 뒷단의 Cloud업체는 중요하지 않습니다. 부하량 역시 월 단위로 할당받아서 독점해서 활용하는 구조이기 때문에, 전체 리소스가 제공된다고 이해해주시면 좋을 것 같습니다.

DGX Cloud의 주된 워크로드는 몇 달 간 집중적으로 학습이 필요한 LLM과 같은 대규모 모델 학습일 것입니다. 조금 더 작은 분, 시간 단위의 과금 모델이 DGX Cloud에는 재하지 않고, 해당 모델이 필요하신 경우 기존 CSP에서 GPU instance를 활용하시는 것도 좋은 방법이실 것 같습니다.

DGX Cloud는 출시되어 있는 서비스이고, 주문하실 수 있는 상품입니다. 우선 현재는 슬라이드에 언급된 클라우드 업체와의 협력까지 완료된 상태입니다.

A100 , H100 모두 80GB의 HBM메모리를 기반으로 하고 있습니다. 해당 GPU를 기반으로 GPT와 같은 대규모 언어모델 학습을 포함하여 다양한 AI워크로드 학습, 그리고 HPC등 연산이 많이 필요한 워크로드 전방위에서 활용되고 있습니다.

다른 CSP 업체의 상품을 언급드리는 것은 조심스럽지만, NVIDIA 내부의 AI Expert 분들께서 HW부터 SW 까지 걸친 Full stack을 지원하고자 한다는 것이 주된 차별점이라고 봐주시면 좋을 것 같습니다.