안녕하십니까?
베이넥스 윤종빈입니다. 멜라녹스 관련 질문은 세션 이후 답변 드리도록 하겠습니다.
질문 주셔서 감사드립니다.
서버 1대의 능력을 넘어서는 큰 AI 모델을 돌릴때는 서버간 고속의 계산용망 연결이 필요하고,
이때는 Infiniband 연결이 사용됩니다. 특히 DGX 서버로 클러스터 구성시 Infiniband연결이 기본입니다.
하지만, 서버 1대 이하의 작은 AI모델을 올릴때나, 한 서버을 여러명이 나누어 사용할 정도이면,
굳이 서버들을 Infiniband로 연결할 필요는 없습니다. 이더넷 스위치로도 충분합니다.
[질문] 저희 회사는 비용 문제 때문에 100 Ethernet을 고려하고 있습니다. AI system 에서 Ethernet이 효율적일까 고심하고 있습니다. 다른 데는 어떤가요?