DGX SuperPoD의 경우에는 hyperscale AI trainig에 최적화된 infrastructure입니다. inference의 경우에는 SuperPoD보다는 작은 규모의 infrastructure로 구축할 수 있습니다. 각 workload에 따른 효율적인 infrastructure 를 제안드릴 수 있습니다.
클러스터 구성시 VM당 공유볼륨에 대해 iscsi ip를 설정해야하는데요, 해당 ip설정시 CVM IP와 동일한대역을 써야만 원활한 통신이 되던데요.. CVM과 다른대역으로 공유볼륨ip를 설정했을때는 패킷손실이 났었습니다. 이점은 개선이 되었나요?
이 부분은 네트워크 구성을 어떻게 하엿는지 확인이 필요합니다.
뉴타닉스내에 여러 ip대역이 구성되어 있습니다. (vlan)
vlan 이 아닌, 물리적인 구성, 즉 라우팅등을 확인할 필요가 있습니다. 정확한 구성및 설정에 대한 정보가 없이는 회신을 드리기 힘듭니다. 저희 기술지원팀에 문의해 보셨는지요??
[질문] 일반적으로 AI 모델들에 대해 inference에는 training보다 작은 자원이 필요하여 소형 IOT 장비에서 실행하는 경우도 있습니다. GPT-3의 경우에는 inference도 일반적으로 NVIDIA DGX SuperPOD에서 실행가능한지 문의드립니다.