DGX-A100은 8x A100이 내장되어있으며, 여기에서 A100은 Datacenter용 GPU로 말씀하시는 Consumer용 제품과는 Scale이 다름을 말씀 드립니다.
1세대 TensorCore(V100)에 비해 3세대 Tensorcore(A100)의 크기가 2배 이상이기 때문에 throughput을 따져보면 상당한 차이가 있는 것을 확인하실 수 있습니다.
지금까지 GPU는 Slave이고 CPU가 Master로 CPU의 명령을 받아 무지막지한 연산을 처리하는 방식으로 사용됩니다.
AI 성능을 높인다라는 부분이 Accuracy 향상을 말씀하시는 것이라면 방법은 상당히 많습니다. 1. Network model 및 training 방법론에 따라서도 영향이 있을 수 있음 2. Training Data의 질에 따라서 accuracy가 영향을 받을 수 있음. 말씀하신 모델링 소프트웨어는 Pytorch 및 TensorFlow와 같은 framework을 말씀하시는 것 같은데 해당 framework은 DL을 training하고 inference할 수 있는 기반을 제공해주는 것이고 그위에서 어떤 모델을 만들고 어떤 방식으로 training을 하느냐에 따라서 AI 성능 향상을 이룰 수 있다 라고 생각하실수 있습니다.
사실 AI가속기를 생각할 때는 Embedded 용, Server용으로 나누어 생각해야합니다. Embedded에서 inference용도로는 NVIDIA의 Jetson이 대응하고 있고, Server용에서는 Training 및 Inference용도로 지금까지 Tesla GPU series가 support해왔고 이의 연장선인 NVIDIA A100 TensorCore GPU가 이번에 출시 된것입니다. 반도체의 입장에서 발열과 전력소모는 Compute Capacity를 놓고 평가를 해보셔야하는데 Performance per watt관점에서는 NVIDIA GPU가 상당히 장점이 있다고 생각합니다.
AI 기술의 발전에 대한 질문이시네요^^ AI 기술은 Datasets들의 증폭과 compute 그리고 Machine Learning/DeepLearning algorithm들의 발전이 융합적으로 이루어지며 발전하고 있습니다. DeepLearning이 대두되기 이전에도 각 Domain에서 AI관련 연구가 지속되어오다가 한계를 만났었는데요. 이 Deep Neural Network 기술이 대두되면서 한계를 뛰어 넘기 시작했고 그런 상황에서 Huge Computing capacity를 GPU가 뒷받침하였고 넘치는 Data를 통해 엄청난 발전을 이루고 있습니다.
금일 웨비나에서 Q&A를 담당하는 NVIDIA의 Solutions Architect이종환 과장입니다. 궁금하신 부분이 있으시면 언제든 질문주시기 바랍니다. ^^
네 반갑습니다~
안녕하세요
안녕하세요~