DeepOps는 Github에 공개된 무료 오픈소스 소프트웨어입니다. 만약 유료의 제품을 원하시면 최근 NVIDIA가 인수한 Bright Cluster 등을 활용하실 수도 있습니다.
네, 그렇게 이해하셔도 문제 없을 듯 합니다.
Ampere, Hopper, Lovelace등 지금 소개드리는 제품들은 전부 Datacenter 용 아키텍쳐입니다.
여러 물리서버에 장착된 GPU를 동시에 활용하는 것은 가능합니다. 다만, single GPU에서 multi-GPU로 변환하기 위해서는 NCCL등 그에 따른 SW 수정은 필요합니다.
Jetson계열의 임베디드 HW를 기반으로 ROS등 로보틱스, 자율주행 등에 대해 지원하고 있습니다.
Omniverse의 장기적인 목표는 Unreal, Unity와 같은 다양한 디자인 툴에 대해 Omniverse위에서 실시간으로 연동하여 활용할 수 있도록 하는 것입니다. Omniverse를 활용하게 되면 Digital Twin규모의 거대한 협업이 가능해지게 됩니다
현재는 NVIDIA Network Business Unit으로 합쳐진, 구 멜라녹스 기반의 Infiniband를 주로 활용하고 있습니다.
A40, L40을 활용하고 있습니다.
https://blogs.nvidia.co.kr/2022/09/13/hopper-mlperf-inference/ 이 블로그 기사를 참조 부탁드립니다. NVIDIA는 추론용 GPU, Jetson등 다양한 라인업을 가지고 있습니다.
모델 사이즈, 데이터 양에 따라 달라지겠지만 175B GPT모델에 대해 DGX A100 100대 기준으로 45일정도 걸리는 것으로 추정하고 있습니다.
가격 계획에 대해서는 제가 말씀드릴 수 없겠지만, CPU-only 클러스터에서 job을 수행하는 것 대비 가격, 발열 등 다양한 측면에서 GPU가 효과적인 가속화를 지원하고 있습니다. 앞으로도 job의 크기는 증가할 수 밖에 없고, 이러한 거대한 문제를 효율적으로 가속화할 수 있도록 발전할 것으로 생각됩니다.
다양한 클라우드 업체 (AWS, GCP등)와 협업하여 다양한 instance를 공개할 계획을 갖고 있습니다.
Cluster-level의 관리가 필요한 규모에서 효과적으로 자원을 관리하기 위한 시스템이라고 봐주시면 좋을 것 같습니다.
기존 CPU에서 Memcopy가 일어나던 워크로드를 GPU로 넘겨서 수행할 수 있다는 점에서 CPU의 부하가 줄어들 수 있씁니다.
Transformer engine을 활용하시기 위해서는 Transformer engine관련 API를 활용하셔야 합니다. 굳이 이 기능을 활용하시지 않으신다면 기존과 동일하게 활용하시면 됩니다.
아직 관련하여 구체적인 로드맵이 나오지 않은 것으로 알고 있습니다.
DPU는 GPU의 여부와 무관하게 활용될 수 있습니다. 실제로 GPU가 장착되지 않은 시스템에서도 다양한 용도로 활용되고 있습니다.
사용자가 Transformer Engine관련 API를 활용하시게 되면, Transformer engine이 자동으로 분포를 분석하여 FP8, FP16등 중 연산자를 선택하게 됩니다. https://docs.nvidia.com/deeplearning/transformer-engine/user-guide/index.html
이 부분은 어떻게 GPU를 활용하시느냐에 따라 달라지는 이야기겠지만, 8개의 GPU를 가지고 있고, MIG으로 하나의 GPU를 7등분 할 수 있기 때문에, naive하게는 8*7 = 56 명의 user에 대해 isolation하여 지원할 수 있습니다.
네, 맞습니다. OVX는 RT Core가 탑재되어 있어 그래픽 작업에 특화된 A40, L40 GPU가 탑재되어 있습니다. 반면, DGX & H100은 A100, H100등 컴퓨트 포커스된 연산을 지원하고 있습니다.
