아마존이 새로 내놓은 것은 칩이 아니라 개발자의 이동경로다

2026년 10월 19일 Amazon은 자체 AI 반도체 Trainium에서 기존 PyTorch 모델을 더 쉽게 실행하도록 돕는 TorchNeuron을 발표했다. NVIDIA의 GPU와 직접 겨루는 새로운 반도체 사양을 소개한 행사가 아니다. 이미 익숙한 AI 개발코드가 다른 반도체에서도 돌아가도록 만드는 소프트웨어 발표다. 10월 20일 PyTorch Conference에서 공개 베타로 배포하겠다는 일정도 밝혔다.

왜 하드웨어 기업이 이런 작업에 집중할까. AI 모델을 구축한 기업은 연산비용이 낮은 반도체를 발견해도 기존 모델과 소프트웨어 도구를 옮기고, 결과가 달라지지 않았는지 시험하고, 장애 대응 절차를 다시 마련해야 한다. 반도체 가격표에 나타나지 않는 엔지니어의 시간과 검증 위험이 실제 선택을 제약한다.

따라서 이번 뉴스의 핵심은 Trainium이 NVIDIA GPU보다 반드시 더 빠르거나 싸다는 주장이 아니다. NVIDIA 중심 개발환경에서 다른 칩을 시험하는 데 필요한 부담을 줄이는 시도라는 점이다. 경쟁자의 제품을 이기기 전에 고객이 경쟁자의 제품에서 떠나올 수 있게 만드는 전략에 가깝다.

PyTorch 자체는 새로운 것이 아니다. 달라진 것은 실행 방식이다

PyTorch는 연구자가 모델을 정의하고 학습시키는 데 널리 사용하는 소프트웨어 프레임워크다. Trainium에서도 이전부터 AWS Neuron SDK와 PyTorch XLA 기반 도구를 이용해 PyTorch 프로그램을 실행할 수 있었다. TorchNeuron 출시 전에는 PyTorch를 전혀 사용할 수 없었다는 설명은 틀리다.

새로운 TorchNeuron은 PyTorch가 공식 제공하는 PrivateUse1 장치 확장 기능과 torch.accelerator 인터페이스를 활용해 Trainium을 표준 실행장치처럼 연결한다. 기존 코드가 GPU를 지정하는 부분에서 모델을 neuron 장치로 옮기거나, 하드웨어 중립적 인터페이스를 활용하면 별도의 모델 재작성 부담을 줄일 수 있다. 실험·디버깅을 위한 eager 실행과 실제 성능을 위한 torch.compile 모드가 모두 지원 대상이다.

이 접근은 새 언어를 배우라는 요구보다 마찰이 적다. 하지만 모든 CUDA 전용 커널과 GPU에 특화된 라이브러리가 자동으로 동일하게 작동한다는 의미는 아니다. 지원되는 모델과 연산 범위, 분산학습 구성, 실제 성능의 재검증이 여전히 필요하다. 공개 기술문서도 이 점을 구체적으로 설명한다.

AI 반도체의 총비용에는 칩값 외에 개발팀의 시간이 들어간다

기업이 GPU와 다른 AI 가속기를 비교할 때 클라우드 시간당 요금이나 초당 처리량만 보면 계산이 빠르다. 그러나 이미 운영 중인 모델을 새로운 실행환경으로 옮기려면 코드 수정, 모델 정확도·수치 안정성 비교, 운영 모니터링, 장애 복구, 버전 업데이트 대응이 필요하다. 이전 작업에 묶인 개발자는 그동안 제품의 기능을 개선하기 어렵다.

예를 들어 반도체 사용료를 줄이더라도 모델 이전과 재검증에 몇 달이 걸리면 전체 경제성이 나빠질 수 있다. 반대로 기존 코드의 변경이 작고 시험이 간편해지면 개발조직은 비용을 크게 투자하기 전에 새로운 반도체를 검토할 수 있다. 이 단계에서는 처음부터 대규모로 옮기기보다 작은 작업을 실제 하드웨어에 올려 비교하는 일이 중요하다.

TorchNeuron이 직접 겨냥하는 것은 이 가운데 소프트웨어 이식 부담이다. 그것만으로 데이터 이동, 클라우드 서비스 계약, 네트워크나 운영체계에 관한 다른 전환비용까지 사라지는 것은 아니다. 고객이 부담하는 총비용을 세부 항목별로 분해해야 새 기술의 가치도 정확하게 판단할 수 있다.

Deepgram이 밝힌 60%는 무엇이 60% 늘었다는 뜻인가

PyTorch 공식 기술 블로그에는 음성 AI 기업 Deepgram의 고객 사례가 실렸다. Deepgram의 최고기술책임자는 AWS Generative AI Innovation Center와 여러 달 동안 협력해 자사 모델을 Trainium의 네이티브 PyTorch 환경으로 옮겼다고 설명했다. 기존 GPU 기준 구성과 비교한 자체 벤치마크에서 달러당 처리할 수 있는 입력 음성 길이가 약 60% 많았다는 것이다.

이것은 특정한 음성 처리 모델과 회사가 평가한 기준 GPU 구성에 관한 성능·비용 비교다. 모든 AI 모델의 비용이 60% 줄었다거나 Trainium이 모든 NVIDIA GPU보다 60% 더 빠르다는 뜻이 아니다. 처리량을 비용으로 나눈 지표이므로 작업량, 모델, 지연시간 목표, 비교 구성에 따라 결과가 달라질 수 있다.

더 중요한 단서는 실제 이식 과정이 수개월에 걸친 협업이었다는 사실이다. 코드 변경을 최소화하는 것과 생산환경에서 성능·품질을 확보하는 과정은 별개다. 기업이 이 기술을 검토할 때는 광고 수치보다 자신의 모델에서 측정한 달러당 처리량과 개발팀 투입시간을 함께 기록해야 한다.

Cartesia는 보통 연산은 쉽게 옮기고 핵심 연산은 직접 최적화했다

또 다른 초기 활용기업 Cartesia는 음성 AI 모델 Sonic과 Ink를 위해 Trainium에서 기존 PyTorch 추론 파이프라인을 큰 변경 없이 실행했다고 밝혔다. 그러나 회사는 모든 코드를 기계적으로 복사해 동일한 성능을 얻었다고 주장하지 않았다. 자주 호출되고 전체 지연시간에 큰 영향을 주는 부분에는 전용 NKI 커널을 개발해 적용했다고 설명했다.

여기서 NKI는 Trainium에서 성능을 세밀하게 조정하는 Neuron Kernel Interface를 뜻한다. 기본 연산을 표준 PyTorch 경로로 처리하고, 실제 성능 병목을 만드는 일부 연산에 전문 엔지니어의 최적화 노력을 집중하는 방식이다. 이는 플랫폼 호환성이 높아져도 고급 최적화 기술이 불필요해지는 것이 아님을 보여준다.

기업전략적으로 보면 역할 분담이 바뀐다. 모든 기능을 처음부터 이식하는 작업이 줄어들면 전문가들은 소수의 중요한 연산과 실제 고객 경험을 개선하는 데 시간을 쓸 수 있다. 이러한 효율이 어떤 개발조직에도 똑같이 발생한다는 보장은 없지만, 소프트웨어 호환성이 인재 활용방식까지 바꿀 가능성은 검토할 만하다.

테스트 15만 4,000건 중 6만 9,000건 제외…이 수치의 의미

공식 PyTorch 기술팀은 2026년 8월 상위 PyTorch 테스트에서 약 15만 4,000건의 결과를 얻었고, 그 가운데 약 6만 9,000건을 유효한 사유로 제외했다고 밝혔다. 약 3만 건은 CUDA 전용 또는 CPU 전용처럼 원래 해당 장치에서 실행 대상이 아닌 테스트를 걸러내는 PyTorch 자체의 조건에 따른 것이었다.

나머지 약 3만 9,000건은 Neuron 관련 사유의 의도적인 제외다. 여기에는 약 2만 2,000건의 네이티브 연산 처리 미지원 관련 테스트와 CUDA 특화 경로, 첫 출시에서 명시적으로 지원하지 않기로 한 기능 등이 포함된다. 희소 텐서, 동적·기호적 텐서 형상, 일부 복합 연산 등이 제한사항에 등장한다. 2만 2,000개라는 수치를 서로 다른 연산자 개수로 받아들여서는 안 된다.

제외된 테스트는 곧 모두 실패한 테스트라는 뜻이 아니다. 그렇다고 완전한 기능 호환성이 입증됐다는 뜻도 아니다. 기술팀은 Hugging Face의 모델 약 10만 개를 축소한 대표 설정으로 시험하는 과정도 소개했는데, 이 역시 각 모델의 실제 대규모 운영을 전부 검증했다는 의미는 아니다. 엔터프라이즈 고객은 자신의 필수 연산과 모델 아키텍처가 어떤 범위에 속하는지 직접 확인해야 한다.

오픈소스는 경쟁을 시작하게 하지만 AWS 종속성까지 없애지는 않는다

Amazon은 TorchNeuron을 10월 20일 Apache 2.0 라이선스의 공개 베타로 배포하겠다고 발표했다. PyTorch 기술팀과 함께 하드웨어별로 특정 GPU를 가정한 코드를 줄이고, Hugging Face Transformers·Diffusers, 분산 학습 도구 TorchTitan, 추론 도구 vLLM 등과의 연결도 확장한다는 구상이다.

서로 다른 개발 도구에서 모델을 다시 작성해야 한다면 칩 공급사 혼자 문제를 해결하기 어렵다. 오픈소스 생태계를 이용하면 많은 개발자가 기존 라이브러리 안에서 새 반도체를 시험하고 호환성 문제를 발견할 수 있다. 다른 칩에도 적용될 수 있는 공통 인터페이스 개선은 AWS 자신에게만 이익이 돌아가는 작업도 아니다.

하지만 Trainium은 AWS 클라우드에서 공급되는 인프라다. PyTorch 코드가 GPU와 Trainium 사이를 쉽게 이동하더라도 클라우드 스토리지, 네트워크 설계, 비용 계약, 운영 데이터의 이동 문제는 남는다. 반도체 실행 소프트웨어의 종속성을 낮추는 것과 전체 클라우드 사업자의 종속성을 없애는 것은 명확히 다르다.

BANSEOG VIEW | 경쟁사의 고객을 얻으려면 먼저 떠나는 비용을 낮춰라

NVIDIA의 경쟁력은 GPU의 연산성능만이 아니라 CUDA 생태계에 축적된 개발코드, 커널, 디버깅 경험, 라이브러리, 인력까지 포함한다. 기존 GPU에 최적화된 기업에게 가격이 낮다는 주장만으로 이 모든 자산을 다시 구성할 이유를 만들기는 어렵다. TorchNeuron은 고객이 이미 사용 중인 PyTorch를 출발점으로 삼아 이 장벽의 일부를 낮추려는 제품이다.

이 전략을 성공이라고 선언하기에는 아직 이르다. Deepgram의 60% 개선은 특정 고객의 기준 비교이고, Cartesia의 사례는 여전히 전용 커널 최적화가 필요한 부분을 보여준다. 기술문서에도 미지원 기능이 남아 있다. 실제 판단은 신규 고객이 장기적으로 Trainium을 얼마나 사용하고, 코드 이식·검증·운영을 합한 비용이 얼마나 줄며, 새 모델이 나올 때 호환성을 유지하는지에 달려 있다.

반석이 주목하는 것은 반도체 시장을 넘어서는 경쟁 방식이다. 성숙한 시장에서 고객이 공급사를 바꾸지 못하는 이유가 제품 자체보다 전환 비용에 있다면, 신규 진입자는 그 전환을 실행 가능하게 만드는 기술과 서비스를 먼저 개발할 수 있다. 엔비디아를 이겼다는 뉴스가 아니라 경쟁자의 우위가 어디에 있는지 다시 묻도록 만드는 사례다.

BANSEOG VIEW

BANSEOG VIEW | 고객을 빼앗기 전에 전환비용부터 낮춘다

TorchNeuron은 NVIDIA보다 우월한 칩이 나왔다는 증거가 아니다. 기존 PyTorch 코드와 개발도구를 Trainium에서 쓰기 쉽게 하려는 호환성 전략으로, 하드웨어 이전을 시험하는 문턱을 낮춘다.

Deepgram의 60% 수치는 한 고객의 기준 비교다. Cartesia가 보여준 전용 커널 최적화와 기술문서의 미지원 연산은 기본 실행의 용이함과 실제 운영 성능을 분리해야 함을 말한다.

신규 진입자는 기존 공급업체의 제품보다 좋은 기능을 만들 뿐 아니라 고객이 공급사를 바꾸기 어려운 이유를 제거할 수도 있다. 이동한 고객의 장기 유지율과 전환 총비용이 진짜 검증 지표다.

SOURCES

근거가 된 원자료

2026-10-20 작성. Amazon 공식 10월19일 발표: TorchNeuron은 PyTorch 확장 인터페이스 이용, Trainium2/3 지원, 10월20일 Apache2.0 공개 베타 예정. PyTorch 공식 10월19일 기술문서: PrivateUse1·torch.accelerator, eager/compile, Deepgram 기존 GPU 기준 대비 달러당 음성 입력 시간 약60% 증가라는 특정 벤치마크, Cartesia의 성능 핵심 NKI 커널 작업. 2026-08 PyTorch upstream 테스트 약154K 중 약69K 제외: PyTorch 적용대상 사유 30K, Neuron 사유 39K, 네이티브 연산 미지원 관련 약22K 포함. 제외=실패로 취급 금지. HF 100K 모델 스윕은 축소 대표설정으로 전체 실운영 검증 아님. Reuters는 30곳 이상 초기 이용자 관련 회사 설명 전달. AWS Neuron 이전부터 제공됐음. 공급사 전환비용과 개발조직 자원배분은 반석 분석. 타사 사진 복제 없음.