현존하는 클러스터의 가장 큰 병목구간은 각 노드간의 통신이라고 볼 수 있습니다 기술발전에 따라 PCI express 나 NVLink 등의 통신기술을 이용하여 대역폭이나 속도발전을 이용하여 병목을 줄이고 있다고 보시면 될 것 같습니다
pci express 4와 nvlink를 비교하면 어떤게 더 빠른가요?
현재 GPU 간의 통신에서는 NVLink 를 능가하는 통신방식은 없다고 보시면 될 것 같습니다 NVLink 는 DGX A100 에서 NVSwitch 방식으로 변화하여 더 높은 대역폭과 속도로 GPU 간 통신을 서포트 하고 있습니다
예 역시 nvlink가 최고이네요...답변 감사합니다.
성능데이터는 다음 링크를 참고하세요. https://www.nvidia.com/en-us/data-center/nvlink/
[질문] 현재 superpod에서 가장 느린 내부 통신은 네트웍인지 아님 어떤것인지 궁금하고 차기버젼에서 그런 속도갭을 더 줄이려는 노력이 진행중인지 궁금합니다.