top of page

컴퓨팅 홍수에 대한 Epoch AI의 Techmeme 분석, 수요 문제를 드러내다

8월 2일
12분 분량

Epoch AI는 첨단 AI 칩이 영구적으로 희소한 상태로 남을 것이라는 통념에 도전하는 컴퓨팅 확장을 추적해 왔다. 이 Techmeme 분석은 한 가지 눈길을 끄는 추정치에서 시작한다. 2022년 이후 전 세계 AI 컴퓨팅 용량은 약 7개월마다 두 배로 늘어났다.

Epoch AI의 최신 분석에 따르면, 이는 연간 약 3.3배 증가에 해당한다. 새로운 가속기, 고밀도 데이터센터, 맞춤형 실리콘이 모두 용량을 더하고 있다. 하지만 이처럼 쏟아지는 하드웨어도 업계가 직면한 가장 큰 질문에는 답하지 못한다.

이미 가동에 들어가는 인프라를 흡수할 만큼 수익성 있는 수요가 충분히 빠르게 증가할 수 있느냐는 것이다. Microsoft, Amazon, Google, Meta, OpenAI와 이들의 파트너들은 칩, 건물, 네트워킹, 전력 전반에 걸친 확장을 약속했다.

이는 단순히 더 빠른 프로세서의 또 다른 주기가 아니다. 새 용량은 더 큰 규모의 학습 실행과 훨씬 많은 추론을 지원할 수 있다. 추론은 사람들이 AI 모델을 실행할 때 사용되는 연산을 뜻한다. 반면 고객 수요, 전력 연결 또는 소프트웨어 도입이 뒤처질 경우 고가 자산의 활용도가 낮아질 수도 있다.

따라서 핵심 경쟁 구도는 분명하다. 하이퍼스케일러들은 AI 사용량이 컴퓨팅 공급과 함께 증가할 것이라고 베팅하고 있다. 물리적 구축은 건설 일정에 따라 진행되지만, 고객 행동은 예측하기가 훨씬 어렵다.

Techmeme 분석이 보여주는 컴퓨팅 급증의 실체

가장 중요한 변화는 개별 신규 데이터센터 하나가 아니라, 전체 설치 기반이 확장되는 속도다.

Epoch AI는 주요 AI 칩 설계업체의 글로벌 컴퓨팅 용량이 2022년 이후 매년 약 3.3배씩 증가했다고 추정한다. 이는 약 7개월의 두 배 증가 기간을 의미하며, 보고된 신뢰구간은 6개월에서 8개월 사이다.

이 추정치는 H100 등가치로 표현된다. 이 단위는 서로 다른 가속기의 성능을 Nvidia의 H100 프로세서 용량으로 환산해 비교한다. 칩 세대와 공급업체를 아우르는 공통 척도를 제공한다.

이 지표는 단순히 칩 수를 세는 것보다 유용하다. 최신 가속기는 구형 장비보다 훨씬 더 많은 연산을 제공할 수 있다. 따라서 출하량이 비슷한 두 분기도 실제로 추가되는 유효 용량은 크게 다를 수 있다.

Epoch AI는 재무 공시, 기업 발표, 애널리스트 조사, 개별 칩에 대한 기술 정보를 토대로 추정치를 만들었다. 해당 칩 판매 데이터는 2022년부터 Nvidia와 Google을 다루며, 다른 여러 설계업체의 데이터는 그보다 나중에 시작된다.

이 방법론에는 불확실성이 따른다. 기업들은 완전한 출하 기록을 거의 공개하지 않으며, 맞춤형 칩은 대개 소유자의 데이터센터 내부에 머문다. 용량 추정치는 납품 시점, 시스템 구성, 실제 활용 가능한 성능에 관한 가정에도 의존한다.

그럼에도 그 방향성을 무시하기는 어렵다. Nvidia는 Epoch AI의 생산 추정치에서 컴퓨팅 자원의 60% 이상을 차지한다. Google과 Amazon은 맞춤형 가속기를 통해 나머지 상당 부분을 공급한다.

이러한 분포는 ‘AI 칩 시장’의 의미도 바꾼다. 더는 외부 고객에게 판매되는 범용 프로세서만을 가리키지 않는다. 클라우드 기업이 자사 서비스용으로 설계하고, 자금을 조달하며, 배치하는 칩도 포함한다.

Google의 텐서 처리 장치, 즉 TPU는 이 모델을 잘 보여준다. Amazon도 Trainium과 Inferentia를 통해 유사한 길을 걷고 있다. Microsoft와 Meta 역시 대량의 Nvidia 프로세서를 계속 구매하는 동시에 더 특화된 하드웨어를 개발하고 있다.

그 결과 공급 확장은 여러 층위에서 일어난다. Nvidia는 범용 가속기의 성능과 물량을 늘린다. 클라우드 기업들은 자사 소프트웨어, 네트워크, 선호 워크로드에 최적화된 맞춤형 실리콘을 더한다.

7개월이라는 두 배 증가 추정치는 기존 뉴스 논의에서 강조된 9개월 수치보다도 빠르다. 이 수치들은 서로 다른 데이터셋, 기간 또는 용량 정의를 설명할 수 있다. 칩 수는 총 연산 성능과 동일하지 않다.

이 구분은 다가올 홍수에 관한 주장을 평가하는 독자에게 중요하다. 업계는 단지 물리적 프로세서를 두 배 더 설치하는 것이 아니다. 출하량 증가와 프로세서당 성능 향상을 함께 결합하고 있다.

생성형 AI 인프라의 첫 물결은 희소성으로 규정됐다. 연구소들은 제한된 클러스터, 클라우드 할당량, 네트워킹 장비를 두고 경쟁했다. 다음 단계는 더 복잡한 가능성으로 규정된다. 막대한 공급이 경제적 역할이 정립되기 전에 도착하고 있는 것이다.

AI 칩 홍수가 지금 도래하는 이유

이 급증은 칩 생산량, 패키징, 메모리, 네트워킹, 데이터센터 건설의 발전이 겹치며 발생하고 있다.

현대적인 AI 클러스터에는 첨단 로직 다이만 필요한 것이 아니다. 고대역폭 메모리, 특수 패키징, 스위치, 광섬유 연결, 냉각 장비, 변압기, 안정적인 전력이 필요하다. 어느 하나라도 부족하면 전체 시스템이 지연될 수 있다.

Epoch AI는 첨단 패키징과 고대역폭 메모리가 로직 다이 공급보다 2025년 생산을 더 크게 제약했다고 분석했다. 흔히 HBM이라 불리는 고대역폭 메모리는 매우 빠른 속도로 AI 프로세서에 데이터를 공급한다.

첨단 패키징은 프로세서와 메모리를 긴밀히 통합된 시스템으로 결합한다. 모델 성능은 구성 요소 간 데이터를 얼마나 효율적으로 이동시키는지에 점점 더 좌우되기 때문에 Nvidia와 다른 설계업체들은 이 기술에 의존한다.

업계는 여러 연결고리를 동시에 확장하며 대응해 왔다. 메모리 제조업체는 HBM 투자를 늘렸고, 패키징 업체는 용량을 확대했으며, 칩 설계업체는 더 긴 공급 약정을 확보했다.

해당 공급망 분석은 모든 제약이 사라졌다는 뜻은 아니다. 이는 2025년 동안 생산 압력이 어디에 집중됐는지를 보여준다. 하나의 제약 요인이 다른 요인보다 더 빠르게 확장되면서 향후 병목은 이동할 수 있다.

네트워킹도 똑같이 중요해졌다. 대규모 학습 실행 중에는 수천 개의 가속기가 통신해야 한다. 상호연결 성능이 나쁘면 비싼 프로세서가 데이터를 기다리게 되어 클러스터의 실질 성능이 떨어질 수 있다.

따라서 클라우드 사업자들은 고립된 칩을 구매하는 것이 아니라 시스템을 구축하고 있다. 각 가속기 주변의 소프트웨어, 네트워크 설계, 스토리지, 냉각, 워크로드 스케줄링을 제어한다. 이러한 통합은 활용률을 높이고 운영 마찰을 낮출 수 있다.

세대별 개선은 또 다른 승수 효과를 더한다. 구형 하드웨어를 교체하는 데이터센터는 칩 수를 비례해서 늘리지 않아도 더 많은 용량을 확보할 수 있다. 신규 시설은 초기 클라우드 건물보다 더 높은 랙 밀도를 지원할 수도 있다.

이러한 변화는 컴퓨팅 공급이 반도체 단위 출하량보다 더 빠르게 증가할 수 있는 이유를 설명한다. 새 장비 하나하나가 더 높은 성능을 제공하고, 지원 시스템은 더 많은 프로세서가 함께 작동하도록 해준다.

이 구축은 수년 전에 내려진 결정도 반영한다. 데이터센터에는 부지, 전력망 조사, 장비 주문, 인허가, 건설이 필요하다. 지금 가동되는 용량은 현재 수요가 가시화되기 전에 이뤄진 약정인 경우가 많다.

이러한 시차는 관성을 만든다. 기업은 손실을 감수하거나 전략적 계획을 미루지 않고서는 거의 완공된 시설을 즉시 취소할 수 없다. 따라서 투자 심리나 제품 수요가 변해도 인프라는 계속 들어온다.

같은 시차는 반대 방향으로도 작용한다. AI 사용량이 갑자기 늘어도 신규 변전소, 송전선, 발전 설비를 즉시 만들어낼 수는 없다. 사업자들은 수요를 검증하기 전에 수요를 예상해 계획해야 한다.

이 때문에 주요 기술 기업들은 불확실성에도 불구하고 계속 용량을 주문한다. 용량 부족은 모델 개발과 클라우드 매출을 제한할 수 있다. 과도한 보유는 수익률을 약화시킬 수 있지만, 경영진은 대개 그 위험이 접근권을 잃는 것보다 낫다고 본다.

군비 경쟁도 스스로를 강화한다. 한 기업이 더 큰 클러스터를 발표하면, 경쟁사들은 학습과 추론 선택지를 맞춰야 한다는 압박을 받는다. 컴퓨팅에서 뒤처지면 모델 비교가 시작되기도 전에 실험 역량이 제한될 수 있다.

그러나 원시적인 공급량만으로 리더십이 보장되지는 않는다. 알고리즘, 데이터 품질, 모델 아키텍처, 개발자 유통도 여전히 결과에 영향을 미친다. 더 많은 칩을 보유한 기업이 덜 유용한 서비스를 만들 수도 있다.

따라서 이 구축은 산업적이면서 전략적이다. 업계는 배치를 가속할 만큼 충분한 부품 제약을 해소했다. 하지만 배치된 모든 가속기가 충분한 경제적 가치를 창출할지는 아직 입증하지 못했다.

하이퍼스케일러는 용량을 유료 수요로 전환해야 한다

Microsoft, Amazon, Google, Meta는 이제 건설 일정을 지속적인 고객 워크로드로 전환해야 한다는 압박에 직면해 있다.

하이퍼스케일러는 전 세계에 거대한 인프라 기반을 보유한 클라우드 사업자다. 이들의 규모는 장비를 대량 구매하고 워크로드를 여러 지역에 분산할 수 있게 한다. 동시에 이례적으로 큰 자본 약정에 노출시킨다.

Microsoft는 2026 회계연도 3분기 실적 발표에서 수요가 계속해서 가용 공급을 초과했다고 밝혔다. 또한 더 많은 용량을 온라인으로 전환함에 따라 분기별 자본 지출이 증가할 것으로 예상했다.

이 발언은 낙관적 사례를 뒷받침한다. 고객들이 이미 Microsoft가 제공할 수 있는 것보다 더 많은 Azure 용량을 원한다면, 추가 클러스터는 매출을 열어줄 수 있다. 이 회사는 기존 기업 고객 관계 전반에 AI 인프라를 배분할 수도 있다.

그러나 지출 구성에는 주목할 필요가 있다. Microsoft는 최근 자본 지출의 상당 부분이 주로 프로세서와 같은 수명이 짧은 자산을 대상으로 한다고 밝혔다. 이 부품들은 건물이나 토지보다 더 자주 교체해야 한다.

회사의 실적 논의는 이 베팅의 폭도 보여준다. Microsoft는 OpenAI, Anthropic, 오픈소스 개발자 및 기타 제공업체의 모델을 제공한다. 궁극적인 승자가 아직 정해지지 않은 시장을 위한 인프라에 자금을 투입하고 있는 셈이다.

Amazon도 AWS를 통해 유사한 계산에 직면해 있다. 맞춤형 Trainium 프로세서는 Nvidia 의존도를 낮추고 고객에게 또 다른 학습 선택지를 제공할 수 있다. 그러나 Amazon은 개발자들에게 자사 소프트웨어 환경과 성능이 전환 비용을 정당화한다는 점을 설득해야 한다.

Google은 여러 세대에 걸쳐 TPU를 개발해 왔기 때문에 독특한 위치에 있다. 이 하드웨어를 내부 제품, Gemini 서비스, Google Cloud 고객을 위해 활용할 수 있다. 이는 새 용량을 흡수할 여러 경로를 만든다.

Meta는 다른 사업 모델을 갖고 있다. 핵심 매출의 대부분은 인프라 임대에서 나오지 않는다. 컴퓨팅을 광고 시스템, 추천 모델, 콘텐츠 도구, 자체 AI 어시스턴트에 적용할 수 있다.

이러한 내부 수요는 유연성을 제공하지만 측정을 복잡하게 만든다. 투자자들은 클라우드 매출을 직접 관찰할 수 있다. 그러나 광고나 추천 시스템 내부의 추가 컴퓨팅이 만들어내는 수익을 분리해 파악하기는 더 어렵다.

OpenAI와 Anthropic은 또 다른 층위를 더한다. 이들은 막대한 컴퓨팅 자원을 필요로 하지만, 최대 파트너들과 견줄 만한 하이퍼스케일 클라우드 사업을 보유하지는 않는다. 이들의 성장은 장기 인프라 계약을 업계 수요의 핵심 원천으로 만든다.

핵심 위험은 순환적 약정이다. 클라우드 제공업체는 용량을 조달하고 모델 기업에 투자한 뒤, 해당 기업들이 클라우드 서비스를 구매할 때 매출을 인식한다. 이 거래들은 여전히 실제 사용량을 반영할 수 있지만, 그 지속성은 최종 고객에 달려 있다.

기업 도입은 결국 더 큰 부담을 떠안아야 한다. 기업들은 단순한 실험이 아니라 반복적인 지출을 뒷받침하는 워크플로에 AI를 배포해야 한다. 소비자 서비스는 추론 비용을 정당화할 만큼 충분한 이용자 참여를 확보해야 한다.

추론은 한 번의 모델 학습보다 훨씬 더 많은 총체적 용량을 소모할 수 있다. 생성되는 모든 답변, 이미지, 영상, 소프트웨어 작업에는 연산이 필요하다. 널리 채택된 서비스는 막대한 클러스터를 24시간 가동 상태로 유지할 수 있다.

에이전트형 시스템은 판을 더욱 키운다. AI 에이전트는 계획 수립, 도구 사용, 결과 확인, 작업 재시도 과정에서 여러 차례 모델을 호출할 수 있다. 따라서 사용자 요청 하나가 단순한 챗봇 응답보다 훨씬 많은 연산을 유발할 수 있다.

Epoch AI는 일부 가정하에서 추론 수요가 공급보다 더 빠르게 증가할 수 있다고 경고했다. 이들의 컴퓨팅 부족 모델은 토큰 수요가 선도적인 Nvidia 시스템의 가용 용량을 얼마나 빨리 소진할 수 있는지 검증했다.

이 가능성은 단순한 공급 과잉 결론을 막는다. 업계가 전례 없는 속도로 칩을 추가하더라도 에이전트, 영상 생성, 코딩 시스템, 추론 모델이 더 빠르게 확장된다면 여전히 부족 현상에 직면할 수 있다.

하이퍼스케일러의 과제는 단순히 더 많은 가상 머신을 판매하는 데 있지 않다. 이들은 활용률을 높이고, 에너지 비용을 통제하며, AI 애플리케이션이 지속적인 사용을 뒷받침할 만큼 충분한 가치를 제공하도록 해야 한다.

더 많은 칩이 전력 제약을 없애지는 않는다

컴퓨팅의 홍수는 희소성의 중심을 프로세서에서 전력, 전력망 접근성, 냉각, 그리고 지역 정치권의 승인으로 옮긴다.

전력을 공급받지 못하는 가속기는 컴퓨팅 용량이 아니라 재고다. 발표된 칩 구매 물량이 전력망 연결을 기다리는 시설로 이동하면서 이 차이는 더욱 중요해진다.

데이터 센터는 특정 지역에 수요를 집중시킨다. 국가 전력망 전체의 발전량은 충분할 수 있지만, 특정 지역에는 변전소, 송전 용량, 또는 이용 가능한 계통 연계가 부족할 수 있다. 지역적 제약은 완공된 건물의 가동을 지연시킬 수 있다.

국제에너지기구는 2030년까지 데이터 센터가 미국 전력 수요 증가분의 거의 절반을 차지할 것으로 전망한다. 또한 AI 중심 시설은 전력 집약적 공장 수준의 전기를 소비할 수 있다고 지적한다.

이 기구의 에너지 전망은 기준 시나리오에서 2035년 전 세계 데이터 센터 전력 소비량이 약 1,200테라와트시(TWh)에 이를 것으로 예상한다. 결과는 배포 및 효율성 가정에 따라 크게 달라진다.

이 시나리오들은 중요한 불확실성을 부각한다. 칩 용량 전망이 자동으로 실제 운영 용량 전망이 되는 것은 아니다. 하드웨어는 전력회사가 연결하고 공급할 수 있는 속도보다 더 빨리 도착할 수 있다.

냉각도 또 다른 제약이다. 고밀도 AI 랙은 많은 열을 발생시켜 액체 냉각으로의 전환을 촉진한다. 기존 시설을 이러한 시스템에 맞게 개조하는 일은 신축 시설에 설치하는 것보다 더 어려울 수 있다.

물 사용량 역시 특히 건조 지역에서 지역사회의 반발을 키울 수 있다. 데이터 센터 개발업체들은 자사 시설이 지방 상수도, 전기 요금, 인근 인프라에 어떤 영향을 미치는지 점점 더 설명해야 한다.

이는 칩 전망으로는 포착할 수 없는 정치적 차원을 만든다. 지역사회는 인허가를 지연시키거나 소비자 보호 조치를 요구하거나 프로젝트를 거부할 수 있다. 전력회사는 개발업체에 발전 및 전력망 업그레이드 비용을 부담하도록 요구할 수 있다.

에너지 계약은 하나의 대응책이다. 기술 기업들은 재생에너지, 배터리, 천연가스, 원자력 발전과 관련된 계약을 체결해 왔다. 일부 프로젝트는 기존 발전소를 지원하는 반면, 다른 프로젝트는 수년이 걸리는 기술 개발이나 건설에 의존한다.

효율성도 또 다른 대응책이다. 신규 칩은 전력 단위당 더 많은 작업을 수행할 수 있다. 양자화, 모델 압축, 캐싱, 개선된 스케줄링 역시 결과 하나당 필요한 연산량을 줄일 수 있다.

그러나 효율성이 항상 총소비량을 낮추는 것은 아니다. 더 저렴하거나 빠른 추론은 더 많은 사용자를 끌어들이고 더 까다로운 애플리케이션을 가능하게 할 수 있다. 그에 따른 사용량 증가는 쿼리당 절감분을 상쇄할 수 있다.

이러한 반등 효과는 이미 낙관적 수요 시나리오의 핵심이다. 더 나은 하드웨어는 AI 서비스의 운영 비용을 낮추고, 이는 기업들이 더 많은 제품에 이를 탑재하도록 유도한다. 더 많은 제품은 다시 더 많은 하드웨어를 필요로 한다.

회의론적 시나리오는 같은 지점에서 출발하지만 다른 결론에 도달한다. 효율성은 애플리케이션 성장과 칩 수요의 연결을 약화시킬 수 있다. 더 작은 모델이 한때 최첨단 시스템이 필요했던 많은 작업을 처리할 수도 있다.

소프트웨어 개선은 구형 하드웨어의 수명도 연장할 수 있다. 더 나은 커널, 라우팅, 워크로드 관리는 프로세서를 추가하지 않고도 실질 용량을 높인다. 이러한 개선은 물리적 출하 추세만으로 공급을 판단하기 어렵게 만든다.

활용률은 대체로 드러나지 않는다. 기업들은 칩 수량, 자본 지출, 시설 전력 용량을 발표하지만, 가속기가 수익을 창출하는 작업을 얼마나 지속적으로 수행하는지는 거의 공개하지 않는다. 클러스터는 불확실한 수익성을 가진 개발 실험을 실행하면서도 바쁘게 보일 수 있다.

따라서 Epoch AI의 추정치는 잠재적 연산 용량의 척도로 읽어야 한다. 이는 모든 프로세서가 설치되고, 전력을 공급받고, 네트워크에 연결되며, 완전히 활용되고, 경제적으로 생산적이라는 것을 증명하지 않는다.

이것이 유입되는 컴퓨팅 자원을 바라보는 techmeme식 관점의 주요 한계다. 하드웨어 곡선은 눈에 보이고 가파르다. 활용률 곡선, 전력 곡선, 수익 곡선은 여전히 훨씬 덜 투명하다.

공급 붐은 비용과 성능의 상충 관계를 만든다

풍부한 컴퓨팅 자원은 AI 개발을 가속할 수 있지만, 잘못된 아키텍처나 수요 전망을 선택했을 때의 재무적 비용도 높인다.

낙관론의 출발점은 역량이다. 컴퓨팅 자원이 उपलब्ध해지면 연구자들은 더 많은 모델을 학습하고, 더 많은 아이디어를 시험하며, 더 큰 실험을 수행할 수 있다. 제품 팀은 심각한 배급 제한 없이 더 많은 사용자를 지원할 수 있다.

더 많은 공급은 경쟁도 강화할 수 있다. 클라우드 고객은 Nvidia 프로세서, Google TPU, Amazon Trainium, 기타 가속기 사이에서 더 많은 선택지를 얻는다. 모델 개발자는 가격, 가용성, 성능에 맞춰 워크로드를 최적화할 수 있다.

맞춤형 칩은 Nvidia를 즉시 대체하지 않으면서도 압박을 가한다. Nvidia는 프로세서와 함께 성숙한 소프트웨어, 네트워킹, 개발자 도구를 제공한다. 맞춤형 가속기는 단일 부품이 아니라 이 통합 플랫폼과 경쟁해야 한다.

Nvidia의 점유율은 집중 위험도 만든다. 생산 지연, 설계 문제, 수출 제한은 계획된 용량의 상당 부분에 영향을 줄 수 있다. 대체 실리콘은 클라우드 제공업체에 협상력과 운영 회복력을 제공한다.

상충 관계는 소프트웨어 파편화에서 나타난다. 한 가속기에 맞춰 조정된 워크로드는 다른 환경에서 원활히 작동하기 전에 엔지니어링 작업이 필요할 수 있다. 팀은 낮은 운영 비용과 이식성, 개발 시간 사이에서 균형을 맞춰야 한다.

하드웨어 노후화도 또 다른 우려다. AI 프로세서는 빠르게 개선되므로, 클러스터는 건물이 유효 수명의 중간에 이르기도 전에 경제적으로 구식이 될 수 있다. 운영업체는 전력, 냉각, 네트워킹 자산은 유지하면서 가속기를 교체할 수 있다.

이 교체 주기는 재무적 판단 기준을 바꾼다. 제공업체는 오늘날의 하드웨어를 채울 수요만 확보하면 되는 것이 아니다. 더 새로운 시스템이 기존 장비의 경쟁 가치를 낮추기 전에 수익을 거둬야 한다.

이 위험은 제공업체가 소수의 모델 고객을 위해 용량을 조달할 때 특히 크다. 주요 임차인 한 곳을 잃으면 특화 시스템은 즉시 대체할 워크로드를 찾지 못할 수 있다.

공급 계약은 일부 위험을 이전할 수 있지만 이를 없애지는 못한다. 어려움을 겪는 고객은 재협상하거나 사용량을 줄이거나 신규 자금 조달에 의존할 수 있다. 장기 약정의 강도는 이를 뒷받침하는 경제성만큼만 유지된다.

반면 빠른 모델 도입은 보수적인 구축을 그만큼 비용이 큰 선택으로 만들 수 있다. 과소 구축한 제공업체는 개발자를 다른 클라우드에 빼앗길 수 있다. 부족한 용량을 기다리는 동안 내부 제품 출시도 지연될 수 있다.

적정 투자 수준은 단일 활용률 스냅샷만으로 판단할 수 없다. 시설은 시간이 지나며 가동되고, 모델은 바뀌며, 고객 워크로드는 이동한다. 일시적인 초과 용량은 실패의 증거가 아니라 의도적인 준비일 수 있다.

과거 기술 사이클은 경고와 격려를 모두 제공한다. 통신 기업들은 닷컴 시기에 광섬유를 과도하게 구축해 심각한 손실을 입었다. 그 인프라 상당수는 이후 인터넷 트래픽이 증가하면서 가치를 얻었다.

클라우드 컴퓨팅은 다른 경로를 따랐다. 제공업체들은 수요를 앞서 투자한 뒤 광범위한 인프라를 수천 개 고객이 사용하는 유연한 서비스로 전환했다. 표준화와 반복적인 기업 지출이 높은 활용률을 뒷받침했다.

AI 인프라는 두 선례의 특징을 모두 지닌다. 클라우드 컴퓨팅처럼 많은 워크로드를 지원할 수 있지만, 가속기는 빠르게 노후화한다. 또한 전통적인 클라우드 애플리케이션보다 아직 덜 성숙한 모델 경제성에 의존한다.

컴퓨팅의 홍수는 일부 장벽을 낮출 것이다. 클러스터를 구축할 수 없는 스타트업도 더 많은 용량을 임대할 수 있다. 연구자들은 더 강력한 시스템에 접근할 수 있다. 기업들은 특화 인프라를 직접 소유하지 않고도 모델을 배포할 수 있다.

그러나 접근성은 여전히 불균등할 것이다. 가장 큰 기업들은 신규 하드웨어를 선점하고, 에너지 계약을 협상하며, 맞춤형 네트워크를 구축할 수 있다. 소규모 구매자는 더 늦게 용량을 받거나 유연한 접근에 더 많은 비용을 지불할 수 있다.

총체적인 컴퓨팅 자원의 증가는 최첨단 개발을 반드시 민주화하지는 않는다. 일반적인 추론이 더 저렴해지는 동안에도 최대 규모의 학습 클러스터는 계속 커질 수 있다. 공급은 하위 영역에서는 넓어지고 상위 영역에서는 집중될 수 있다.

이 분화가 다음 단계를 규정할 가능성이 크다. 일반적인 AI 작업은 제약이 줄어드는 반면, 최첨단 학습과 대규모 에이전트는 계속해서 막대한 시스템을 요구한다. “컴퓨팅 풍요”는 구매자마다 다른 의미를 가질 것이다.

이 투자가 효과를 내는지 보여줄 세 가지 신호

다음 시험대는 용량 증가가 더 높은 활용률, 지속 가능한 수익, 그리고 신규 칩을 가동할 수 있는 충분한 계통 연계 전력으로 이어지는지 여부다.

첫 번째 신호는 설치된 용량 대비 클라우드 수요다. Microsoft, Amazon, Google은 고객 수요가 가용 공급을 초과하는지 여부를 정기적으로 언급한다. 부족 상태에서 미사용 용량으로 전환되면 현재의 투자 논리가 약화될 것이다.

매출 성장만으로는 이 질문에 답할 수 없다. 투자자들은 클라우드 성장률을 자본 집약도, 감가상각, 활용률에 관한 경영진 발언과 비교해야 한다. 인프라 비용이 더 빠르게 증가한다면 매출 상승과 수익률 하락은 공존할 수 있다.

수주잔고 역시 신중하게 해석해야 한다. 체결된 약정은 수년에 걸쳐 적용될 수 있으며 건설 이정표에 따라 달라질 수 있다. 가장 유용한 증거는 시설이 가용해진 뒤 고객이 실제로 용량을 소비하고 있음을 보여줄 것이다.

두 번째 신호는 AI 애플리케이션의 운영 규모다. 제공업체는 코딩 도구, 기업용 어시스턴트, 미디어 생성, 자율 에이전트에서 지속적인 추론 수요를 확보해야 한다. 간헐적인 챗봇 사용만으로는 계획된 인프라를 흡수할 수 없다.

개발자들은 동시에 모델 효율성도 살펴야 한다. 더 작은 시스템이 더 많은 작업을 처리한다면 애플리케이션 도입은 컴퓨팅 수요의 비례적 증가 없이도 성장할 수 있다. 추론과 에이전트 루프가 지배적이 되면 작업당 수요는 급격히 증가할 수 있다.

가격 정책은 균형을 드러낼 수 있다. 잦은 할인, 관대한 크레딧, 쉬워진 접근성은 공급 개선을 의미할 수 있다. 지속적인 배급 제한과 긴 예약 기간은 수요가 여전히 배포 가능한 용량을 초과하고 있음을 시사한다.

세 번째 신호는 전력망 공급이다. 데이터 센터가 예정대로 전력을 공급받을 때에만 칩 주문은 의미가 있다. 지연된 변전소나 송전 프로젝트는 발표된 컴퓨팅 자원과 실제 사용 가능한 컴퓨팅 자원 사이의 격차를 키울 수 있다.

대규모 접속을 승인하는 전력회사, 차세대 설비에 자금을 투입하는 기술 기업, 더 엄격한 조건을 부과하는 지역사회를 주시해야 합니다. 이러한 결정은 어느 지역에 용량이 투입되고, 누가 지역 비용을 부담하는지를 좌우할 것입니다.

IEA는 데이터센터 전력 사용량이 2030년까지 두 배로 늘어나고, AI 중심 전력 소비는 세 배 증가할 것으로 전망합니다. 전력망이 반복적인 지연 없이 이 증가를 수용한다면, 하드웨어 전망의 신뢰도도 높아집니다.

접속 대기열이 길어진다면 칩 생산이 풍부하더라도 공급 곡선은 완만해질 것입니다. 기업들은 가속기를 창고에 보관하거나, 점진적으로 설치하거나, 전력 공급이 가능한 지역으로 장비를 돌릴 수 있습니다.

이 세 가지 신호는 생산적인 증설과 투기적 증설을 가르는 기준이기도 합니다. 견조한 애플리케이션 사용량, 상승하는 가동률, 적시의 전력망 접속은 하이퍼스케일러의 전략을 뒷받침할 것입니다.

모든 시설이 일정대로 문을 열더라도 도입이 부진하다면 그 전략은 도전을 받게 됩니다. 수요는 강하지만 전력망 연결이 지연되면 희소성은 계속되겠지만, 그 대상은 프로세서가 아니라 전력이 될 것입니다.

이번 techmeme 분석이 보여주는 더 넓은 교훈은 칩 공급만으로는 더 이상 AI 인프라의 전체 이야기를 설명할 수 없다는 점입니다. 컴퓨팅은 금융, 에너지, 소프트웨어, 지역 정치의 영향을 받는 산업 시스템으로 변하고 있습니다.

Epoch AI의 7개월 단위 두 배 증가 추정치는 하드웨어 발전 속도가 얼마나 놀라운지를 보여줍니다. 그러나 이것이 업계가 지나치게 많이, 너무 적게, 또는 잘못된 지역에 용량을 구축했는지까지 판단해 주지는 않습니다.

개발자에게 실질적인 질문은 접근성이 더 저렴하고 안정적으로 변하는지입니다. 엔터프라이즈 구매자는 공급업체가 추가 용량을 더 나은 서비스 한도와 예측 가능한 성능으로 전환하는지 지켜봐야 합니다.

지식 노동자들은 벤치마크 헤드라인을 넘어설 필요가 있습니다. 기존 업무 프로세스에 맞고, 신뢰할 수 있는 일을 수행하며, 운영 비용을 정당화하는 AI 제품을 뒷받침할 때 증설의 의미가 생깁니다.

앞으로 몇 달간은 클라우드 가동률, 애플리케이션 수준의 추론, 전력망 연결을 이 순서대로 지켜보십시오. 이 신호들을 함께 보면 컴퓨팅 홍수가 생산적인 용량인지, 아니면 값비싼 대기열인지 드러날 것입니다.

하드웨어는 도착하고 있습니다. 이제 업계는 고객, 애플리케이션, 전력 시스템도 그에 발맞춰 도착할 수 있음을 증명해야 합니다.

 
 

무료로 시작하세요

개인 지식 관리 기능을 갖춘 로컬 우선 AI 어시스턴트

더 나은 AI 경험을 위해

현재 remio는 Windows 10+ (x64) 및 M-Chip Macs만 지원합니다.

업무를 위한 AI 파트너
remio와 더 많은 일을 해내세요

계획하고, 만들고, 완성하세요
모든 일을 한곳에서

bottom of page