엔비디아가 GPU 아닌 CPU로 고객을 얻었다…AI 에이전트가 몰릴 때 '최대 2배'

GPU로 성장한 엔비디아가 CPU에서 새 고객을 확보했다

엔비디아가 새 고객을 얻었다. 다만 이번 계약에서 눈여겨볼 제품은 GPU가 아니라 CPU다. 2026년 10월 19일 AI 클라우드 기업 Modal은 NVIDIA의 Arm 기반 Vera CPU를 자사 Sandbox 서비스에 도입할 계획이라고 밝혔다. 그동안 Modal은 이 실행환경을 Intel과 AMD의 x86 CPU에서 운영했다.

Modal은 엔비디아가 전달한 첫 Vera CPU 서버를 샌프란시스코 사무실에 설치해 초기 시험을 진행했다. 회사는 Vera 지원을 확대하려면 컨테이너 이미지 구축을 포함한 인프라 변경이 필요하다고 설명한다. 실제 고객 전체의 작업을 이미 Vera로 옮겼다는 발표는 아니다.

이 새로운 공급사 선택을 이끈 숫자는 '최대 2배'다. 그러나 CPU 하나가 평소 작업을 두 배 빠르게 끝낸다는 뜻으로 읽으면 Modal이 발견한 사업 문제를 놓친다.

작업 하나의 속도는 비슷했다. 작업이 몰리자 차이가 벌어졌다

Modal은 Agentless Agent Bench라는 시험을 만들었다. Terminal-Bench 2.1의 정답 실행 및 검증 과정에서 네트워크 호출이 필요 없는 50개 과제를 골랐고, 컨테이너를 미리 준비한 뒤 코드 컴파일·파일 검색·Git 조작 등 에이전트의 CPU 측 행동을 실행했다. LLM이 답변을 생각하는 시간이나 외부 네트워크 대기는 측정 대상에서 제외했다.

서버가 조용할 때 과제를 하나씩 실행한 결과 Vera는 비교 CPU보다 빠른 경우가 많았지만 항상 그렇지는 않았다. 차이도 전반적으로 크지 않았다. 개별 작업 완료시간만 보면 매우 극적인 결과는 아니었던 셈이다.

그런데 동시에 돌아가는 컨테이너를 늘리자 결과가 달라졌다. Modal은 비슷한 등급의 Intel Granite Rapids(x86 GNR) 서버와 비교한 초기 시험에서 Vera가 단위 시간에 완료한 과제가 최대 두 배였다고 보고했다. 이 수치는 Modal이 설계한 특정 작업·동시성 조건의 처리량이다. 모든 AI 에이전트 작업이 두 배 빨라진다는 증거는 아니다.

AI 에이전트의 CPU 사용량은 일정하지 않다

에이전트는 GPU에서 모델 추론을 실행하는 것만으로 끝나지 않는다. 파일을 읽고, 코드 패키지를 설치하고, 테스트를 실행하며, 명령 결과를 모델에 돌려준다. Modal의 Sandbox는 이런 실행을 격리된 컨테이너에서 제공한다.

Modal 설명에 따르면 Sandbox는 LLM의 다음 응답을 기다리며 오랫동안 한가하다가도 npm install이나 대규모 검색 명령이 시작되면 CPU 사용량이 평소의 10배까지 갑자기 뛰는 경우가 있다. 한 서버에 수백 개 실행환경을 넣으면 언제 어떤 이용자의 작업이 몰릴지 미리 예측하기 어렵다.

최대 사용량을 기준으로 모든 이용자에게 CPU를 예약하면 놀리는 자원이 늘어난다. 평균 사용량에 맞춰 촘촘히 배치하면 다른 이용자의 갑작스러운 작업 때문에 지연되는 'Noisy Neighbor' 문제가 생긴다. Modal은 사용량 급증을 허용하는 버스팅(Bursting) 방식 때문에 이런 동시 실행 성능이 특히 중요하다고 설명한다.

88개 CPU 코어보다 중요한 것은 혼잡 속 처리량이었다

NVIDIA가 발표한 Vera 사양은 88개 Olympus 코어와 최대 1.2TB/s의 메모리 대역폭이다. NVIDIA는 Vera를 GPU와 결합한 시스템뿐 아니라 독립 CPU 서버로도 공급할 수 있다고 밝혔다.

Modal 엔지니어는 높은 메모리 대역폭과 혼잡 상황에서의 성능 유지가 많은 컨테이너를 수용하는 데 유리하다고 해석했다. 시험에서 다른 CPU 서버들의 처리량 증가가 상대적으로 일찍 둔화한 반면 Vera의 처리량은 더 증가했다는 설명이다.

하지만 이 해석은 제조사의 기술설명과 Modal의 초기 벤치마크에 기반한다. 독립적인 대규모 상용 환경에서 동일한 비용·전력·구성으로 효과가 재현됐다는 자료로 확대해서는 안 된다. CPU를 평가하는 기준에 '혼잡한 상황에서도 처리량이 유지되는가'라는 질문이 강하게 들어왔다는 점이 확인되는 변화다.

CPU의 대기가 비싼 GPU까지 기다리게 할 수 있다

Modal은 AI 에이전트 실행 외에 강화학습(Reinforcement Learning)의 반복 작업을 사례로 들었다. 여러 Sandbox가 동시에 작업을 끝내야 GPU가 다음 학습 단계로 넘어가는 동기식 구조에서는, 일부 CPU 측 실행이 느려지는 만큼 GPU도 기다릴 수 있다.

이때 CPU 작업의 병목을 줄인 효과는 CPU 서버 비용을 넘어 GPU 유휴시간 감소로 연결될 가능성이 있다. 그러나 실제 GPU 활용률이나 전체 학습비가 얼마나 달라지는지는 Modal의 50개 작업 벤치마크만으로 알 수 없다. 전체 작업 흐름, 동기화 방식과 하드웨어 가격을 함께 측정해야 한다.

Modal은 Intel과 AMD를 버리지 않는다

Reuters에 따르면 Modal의 최고경영자 Erik Bernhardsson는 기존 Intel·AMD CPU를 포기하지 않겠다고 설명했다. Vera를 추가하되 작업별로 성능이 더 적합한 하드웨어에 배치하는 혼합 인프라를 계획하고 있다.

이는 CPU 시장의 승자를 이미 확정했다는 선언과 다르다. 개별 작업 속도와 동시 작업 처리량의 우선순위가 다르고, Arm을 지원하도록 기존 x86 인프라와 이미지 빌드 시스템을 고치는 비용도 발생한다. Intel과 AMD가 개발 중인 새 세대 CPU의 성능 역시 향후 비교 대상이다.

연환산 10억 달러 기업이 이 문제를 보는 이유

Modal은 10월 14일 7억 5,000만 달러의 신규 투자를 유치했다고 발표했다. 투자 후 평가가치는 157억 5,000만 달러이며, 회사가 제시한 연환산 매출 속도는 10억 달러를 넘는다. Sandbox 제품만 따로 계산한 연환산 속도도 약 3억 달러라고 밝혔다.

이는 회사가 자체 발표한 Annualized Run Rate 지표로, 회계연도 확정 매출이나 감사된 실적과 같지 않다. 다만 AI 에이전트가 사용하는 격리 실행환경이 Modal에게 이미 의미 있는 사업이라는 점을 보여준다. 작업 하나의 성능 개선보다 수많은 작업을 일정한 서비스 품질로 처리하는 능력이 이 사업에서는 중요해질 수 있다.