CPU 또는 호스트 메모리와 GPU간 통신은 언제나 GPU 입장에서 신경써야하는 부분이 맞습니다. 그래서 PCIe Gen4를 지원하는 CPU가 먼저 선호되어 GPU 서버에 채택된 것도 있구요. 더 나아가 NVIDIA는 지난 4월 Grace라고 하는 CPU 아키텍처를 선보였습니다. Grace CPU는 GPU와 통신이 PCIe가 아닌 NVLink 급의 bandwidth로 연결되어 있습니다. https://blogs.nvidia.co.kr/2021/04/15/cpu-grace/
[질문] Tesla P100의 성능을 생각하면 Mellanox InfiniBand 카드를 쓴다고 해도 CPU Performance Bottleneck과 이의 영향을 받을 수 밖엔 없는 I/O Performance Bottleneck은 암페어 sstructure라 해도 불가피하지 않나요?