GPU에는 900GB이상의 대역폭을 지원하고 있습니다. 다중의 GPU 사용시, GPU끼리 데이타 통신할때, 어떤 종류의 통신기술(Pcie, Nvlink)를 사용하느냐에 따라
성능의 차이가 있습니다. Nvlink를 사용하면, GPU끼라 큰 대역폭으로 직접적인 통신이 가능하기 때문에, 이론적으로는 Pcie보다는 10배이상의 성능향상이 있을 수 있습니다.
T4 Fp32, Fp16, INT8, INT4 정밀도를 지원하고 있어 인퍼런스에도 최적의 카드입니다. 딥러닝에 사용된 알고리즘의 최적화 여부에 따른 GPU성능의 차이가 발생 됩니다.
[질문] GPU에도 병목현상이 존재 하나요?