AI 시대의 혈관, 차세대 High-Speed I/O (HSIO) 전쟁: UALink, Ultra Ethernet, SUE, 그리고 InfiniBand#
인공지능(AI) 모델의 거대화와 폭발적인 데이터 증가로 인해, 데이터센터 내부에서는 지금 전례 없는 ‘차세대 High-Speed I/O (HSIO) 전쟁’이 벌어지고 있습니다. 수천, 수만 개의 가속기(Accelerator)가 마치 하나의 거대한 두뇌처럼 동작해야 하는 AI 워크로드의 특성상, 컴퓨팅 파워만큼이나 이를 연결하는 인터커넥트(Interconnect) 기술이 성능의 병목이자 핵심 경쟁력으로 떠올랐기 때문입니다.
이 전장에는 오랜 기간 고성능 네트워크의 제왕으로 군림해 온 InfiniBand (IB)가 버티고 있으며, 범용성의 상징인 PCIe 또한 기존의 Tree 구조를 벗어나 P2P(Peer-to-Peer) 확장을 시도하며 진화하고 있습니다. 하지만 최근 가장 뜨거운 감자는 단연 ‘이더넷(Ethernet) 진영’의 반격과 새로운 오픈 표준의 등장입니다.
특히 주목할 만한 움직임은 Scale-Up(노드 내 가속기 연결)과 Scale-Out(노드 간 네트워크 연결) 영역 모두에서 동시에 일어나고 있습니다.
- Scale-Up 영역: NVIDIA의 독점적인 NVLink에 대항하기 위해 AMD, Intel 등이 주도하는 UALink (Ultra Accelerator Link)가 등장했습니다. UALink는 최대 1,024개의 가속기를 연결하며, 하드웨어 스누핑 없는 I/O 일관성 모델과 리플레이 버퍼를 통한 무손실 전송을 통해 거대한 메모리 패브릭을 구성합니다. 이에 맞서 Broadcom과 구글 TPU 진영은 표준 이더넷 MAC을 활용하되 불필요한 오버헤드를 줄이고 기회주의적 패킹(Opportunistic Packing)을 도입한 SUE (Scale-Up Ethernet)를 강력하게 밀고 있습니다.
- Scale-Out 영역: 기존 RoCEv2(RDMA over Converged Ethernet)의 한계를 극복하려는 시도가 한창입니다. RoCEv2는 패킷 손실 시 성능이 급락하는 Go-Back-N 방식과 복잡한 설정 문제가 있었습니다. 이를 해결하기 위해 등장한 Ultra Ethernet (UE)은 패킷 스프레잉(Packet Spraying)을 통한 다중 경로 전송과 수신 측 주도 혼잡 제어(RCCC)를 도입하여, 이더넷 위에서도 InfiniBand에 버금가는 성능과 안정성을 제공하려 합니다.
현재 제가 재직 중인 회사에서도 차세대 이더넷 기술 탑재를 준비하고 있으며, 엔지니어로서 이 격변하는 HSIO 기술들의 장단점을 명확히 이해하는 것은 필수적인 과제가 되었습니다. 이 글에서는 UALink, Ultra Ethernet(UE), SUE, 그리고 InfiniBand와 PCIe까지, 차세대 HSIO의 핵심 기술들을 비교 분석하고, 각 스펙이 추구하는 설계 철학(Design Philosophy)과 기술적 차별점을 심도 있게 다뤄보고자 합니다.
1. 기술별 핵심 요약 (Executive Summary)#
각 기술은 타겟팅하는 영역(Scale-Up vs Scale-Out)과 해결하고자 하는 문제에 따라 상이한 접근 방식을 취하고 있습니다.
| 구분 | UALink | Ultra Ethernet (UE) | Scale-Up Ethernet (SUE) | InfiniBand (IB) | NVLink |
|---|---|---|---|---|---|
| 주 목적 | Scale-Up (AI 가속기 간 메모리 연결) |
Scale-Out (대규모 AI/HPC 네트워크) |
Scale-Up (이더넷 기반 가속기 연결) |
Scale-Out (HPC/AI용 초저지연 SAN) |
Scale-Up (NVIDIA GPU 전용) |
| 도달 범위 | Pod 내부 (최대 1,024 가속기) | 데이터센터 전체 (> 100k 노드) | Pod 내부 (최대 1,024 XPU) | 데이터센터 전체 | Pod/Node 내부 (NVL72 등) |
| 통신 방식 | Memory Semantic (Load/Store, Atomics) |
Message/Packet (Send/Recv, RDMA) |
Memory Semantic (Load/Store) |
Message/RDMA (Verbs, Channel IO) |
Memory Semantic (Load/Store, Coherent) |
| 일관성 | I/O Coherency (SW 관리) |
없음 (Message Passing) | 없음 | 없음 | Full Cache Coherency |
| 신뢰성 | LLR (Link Layer Retry) + End-to-End |
UET (Transport Layer) Packet Spraying |
LLR + CBFC | Link Level Credit | Link Level Retry |
| 혼잡 제어 | Credit-based Flow Control (UPLI) | 지능형 혼잡 제어 (NSCC, RCCC) |
CBFC & PFC | Absolute Credit | Credit-based |
| 개방성 | Open Standard (AMD, Intel 등 주도) |
Open Standard (UEC Consortium) |
Open Standard | Open Standard | Proprietary (NVIDIA 전용) |
2. 상세 기술 비교 분석#
2.1 아키텍처 및 계층 구조 (Architecture & Layers)#
각 프로토콜은 물리 계층부터 전송 계층까지 서로 다른 전략을 취합니다.
- UALink: 물리 계층은 IEEE 802.3dj(200Gbps/lane) 이더넷 PHY를 재사용하여 경제성을 확보하지만, 상위 계층은 이더넷 MAC/IP를 걷어내고 독자적인 트랜잭션 계층(TL)과 데이터 링크 계층(DL)을 정의했습니다. 이는 오버헤드를 줄이고 메모리 시맨틱을 지원하기 위함입니다.
- Ultra Ethernet (UE): 표준 이더넷 프레임 위에 구축되지만, UET(Ultra Ethernet Transport)라는 새로운 전송 계층을 정의합니다. UET는 패킷 전달 계층(PDS)과 의미 계층(SES)으로 나뉘며, 패킷 스프레잉을 통해 다중 경로를 적극 활용하여 이더넷의 한계를 극복합니다.
- SUE (Scale-Up Ethernet): UALink와 유사하게 이더넷 PHY를 활용하지만, SUE Lite라는 경량화된 스택을 제공하여 칩 면적과 전력 소모를 줄이는 데 집중합니다. 복잡한 재전송 로직을 제거하고 링크 레벨 재시도(LLR)에 의존하여 레이턴시를 최소화합니다.
- InfiniBand (IB): 물리 계층부터 전송 계층까지 완전히 독립적인 표준입니다. 커널 바이패스(Kernel Bypass)와 하드웨어 오프로드를 통해 CPU 개입을 최소화하며, Subnet Manager(SM)가 전체 네트워크 토폴로지를 관리하는 중앙 집중형 구조입니다.
2.2 전송 방식 및 흐름 제어 (Transport & Flow Control)#
AI 워크로드에서 중요한 것은 Incast(트래픽 폭주)와 Tail Latency(꼬리 지연) 관리입니다.
- UALink: Credit Based Flow Control (CBFC)를 사용하여 수신 측 버퍼가 있을 때만 데이터를 전송합니다. 또한, Isolation Mode를 도입하여 특정 링크 오류가 시스템 전체(Pod)를 멈추게 하는 것을 방지합니다.
- Ultra Ethernet (UE): RCCC (Receiver-Credit Congestion Control)를 핵심 기술로 사용합니다. 수신 측이 송신 측에 전송 권한(Credit)을 부여하는 방식으로, Incast 문제를 원천 차단합니다. 또한, 스위치 버퍼가 찰 경우 패킷을 버리는 대신 헤더만 남기고 데이터(Payload)를 잘라내어(Trim) 전송하는 Packet Trimming을 통해 빠른 혼잡 감지를 지원합니다.
- InfiniBand: Absolute Credit 방식을 사용하여 패킷 손실이 없는 무손실(Lossless) 패브릭을 구현합니다. 하지만 대규모 확장 시 혼잡 제어의 복잡성이 증가할 수 있습니다.
2.3 메모리 모델 (Memory Model)#
- Load/Store 모델 (UALink, NVLink, SUE): CPU가 메모리에 접근하듯 원격 가속기의 메모리에 직접 접근(Read/Write/Atomic)합니다.
- UALink는 I/O Coherency 모델을 채택하여 하드웨어 스누핑 오버헤드를 제거했습니다. 즉, 데이터 일관성은 소프트웨어적으로 관리해야 합니다. 반면 NVLink는 하드웨어 레벨의 Full Cache Coherency를 지원하여 프로그래밍 편의성이 높습니다.
- 메시지/RDMA 모델 (UE, IB):
- Ultra Ethernet은 Libfabric API를 통해 RDMA 및 Atomic 연산을 지원합니다. 특히 RUD(Reliable Unordered Delivery) 모드를 통해 데이터가 순서 없이 도착해도 처리할 수 있어, 패킷 스프레잉을 통한 대역폭 효율 극대화가 가능합니다.
2.4 보안 (Security)#
멀티 테넌트 환경에서의 데이터 보호는 필수적입니다.
- UALink: Confidential Computing을 지원하며, 스위치를 신뢰하지 않는 모델을 가정하고 엔드포인트(가속기) 간 암호화를 수행합니다. TDISP(Trusted Device Interface Security Protocol)를 기반으로 합니다.
- Ultra Ethernet (UE): TSS (Transport Security Sublayer)를 정의하여 패킷 단위 암호화 및 인증을 수행합니다. 대규모 클러스터에서의 효율적인 키 관리를 위해 KDF (Key Derivation Function)를 활용하여 수신 측의 키 저장소 부담을 줄였습니다.
3. 결론: 각 기술의 설계 철학 및 전망#
각 기술은 명확한 설계 목표(Design Philosophy)를 가지고 발전하고 있습니다.
- NVLink는 NVIDIA 생태계 내에서 최고의 성능(대역폭, 연산 오프로드)을 제공하는 Scale-Up의 절대 강자입니다.
- UALink는 NVLink에 대항하는 개방형 표준 Scale-Up 인터페이스로, 이더넷 PHY의 경제성과 메모리 시맨틱의 성능을 결합하여 대규모(1,024개) 가속기 연결을 지원합니다.
- SUE는 UALink와 유사하나 표준 이더넷 스위치와의 호환성과 구현 단순성에 더 중점을 둔 접근 방식입니다.
- InfiniBand는 오랫동안 HPC 시장을 지배해 온 초저지연, 무손실 네트워크의 표준이나, 특정 벤더 의존도가 고려 사항입니다.
- Ultra Ethernet은 InfiniBand의 성능(RDMA)을 이더넷 위에서 구현하되, 패킷 스프레잉과 유연한 전송 계층을 통해 IB의 확장성 한계를 극복하고 범용성을 확보하려는 차세대 Scale-Out 표준입니다.
따라서, 향후 AI 데이터센터는 단일 랙/Pod 내부의 초고속 연결(Scale-Up)에는 NVLink, UALink, SUE가 경쟁하며, 수만 개의 노드를 연결하는 백엔드 네트워크(Scale-Out)에는 InfiniBand와 Ultra Ethernet이 경쟁 및 공존하는 형태로 발전할 것으로 전망됩니다. 엔지니어로서 우리는 워크로드의 특성에 맞춰 최적의 HSIO 기술을 선택하고 통합하는 능력을 갖춰야 할 것입니다.