Nvidia AI 데이터 센터 효율성, 칩에서 소프트웨어로 중심 이동

더 빠른 칩, 첨단 냉각, 새로운 전력 공급 장치에 수년간 관심이 집중됐음에도 Nvidia AI 데이터 센터 효율성은 소프트웨어 문제로 자리 잡았다. 연구자들은 이제 하이퍼스케일러가 이미 설치된 하드웨어에서 AI 워크로드를 실행하는 방식을 바꾸는 것만으로도 의미 있는 용량을 확보할 수 있다고 주장한다.

시점도 중요하다. 국제에너지기구(IEA)에 따르면 전 세계 데이터 센터 전력 소비량은 2030년까지 945테라와트시(TWh)에 이를 수 있다. 이는 현재 일본의 전력 사용량보다 약간 많은 수준이다. 그러나 업계의 주요 시설 효율성 지표 중 하나는 6년 연속으로 거의 개선되지 않았다.

따라서 새롭게 부상하는 경쟁 구도는 Nvidia와 다른 칩 제조사 간의 대결이 아니다. AI 성장이 하드웨어와 전력의 동일한 규모 확장을 요구한다는 통념에 맞서는 소프트웨어 최적화의 경쟁이다. 더 우수한 GPU는 여전히 필수적이지만, 소프트웨어는 가용 전력이 유용한 작업을 만들어내는지 아니면 피할 수 있는 연산에 소모되는지를 결정할 수 있다.

연구자들, AI 데이터 센터 소프트웨어 효율성을 핵심에 놓다

최신 연구는 낭비되는 연산을 단순한 소프트웨어 엔지니어링 세부 사항이 아닌 인프라 문제로 재정의한다.

즉각적인 변화는 개념적이다. 연구자들과 인프라 전문가들은 운영자들에게 시설 오버헤드에만 집중하는 대신, 와트당 생산되는 유용한 작업량을 측정하라고 요구하고 있다.

이 구분이 중요한 이유는 전력사용효율(PUE)이 전체 시설 에너지와 컴퓨팅 장비에 전달되는 에너지를 비교하기 때문이다. PUE가 1.0에 가까울수록 냉각, 조명, 전력 변환에 사용되는 전력이 상대적으로 적다는 뜻이다.

하지만 PUE는 서버가 과도하게 큰 모델을 실행하는지, 불필요한 토큰을 처리하는지, 또는 부분적으로 유휴 상태인지를 판단할 수 없다. 시설은 우수한 PUE를 보고할 수 있지만, 애플리케이션은 랙에 도달한 전력의 상당 부분을 낭비할 수 있다.

Uptime Institute의 2025년 데이터 센터 설문조사에 따르면 평균 PUE는 6년 연속으로 거의 변하지 않았다. 보고서는 이러한 정체의 원인으로 기존 시설과 지역별 냉각 제약을 일부 지목했다.

설문조사의 가중 평균 PUE는 1.54였다. 이는 상당한 시설 오버헤드를 의미하지만, 추가적인 냉각 개선이 문제의 일부만 해결할 수 있는 이유도 보여준다.

IEA는 현대적 데이터 센터에서 서버가 전력 수요의 약 60%를 차지한다고 추산한다. 스토리지와 네트워킹의 비중은 더 작다. 냉각은 효율적인 하이퍼스케일 시설에서는 약 7% 수준이지만, 효율이 낮은 엔터프라이즈 시설에서는 30%를 넘을 수 있다.

이 수치들은 대부분의 기회가 컴퓨팅 스택 내부에 있음을 보여준다. 소프트웨어는 모델, 수치 정밀도, 배치 크기, 응답 길이, 프로세서 설정, 워크로드 위치, 실행 시간을 선택한다.

ML.Energy 이니셔티브와 연계된 미시간대학교 연구자 Jae-Won Chung은 Tom’s Hardware에 소프트웨어와 알고리즘이 의미 있는 차이를 만들 수 있다고 말했다. 그의 주장은 컴퓨팅 시스템을 여러 개의 연결된 계층으로 본다.

하드웨어는 가장 아래에 있다. 그 위에는 시스템 소프트웨어, 알고리즘, 애플리케이션이 놓인다. 칩 교체에는 제조, 조달, 설치, 테스트가 필요하지만 코드와 스케줄링 정책은 훨씬 더 빠르게 바뀔 수 있다.

이 주장이 소프트웨어가 새 인프라의 필요성을 없앤다는 뜻은 아니다. 대신 소프트웨어는 운영자가 고가의 가속기와 제한된 전력망 용량을 얼마나 효과적으로 활용하는지를 결정하는 제어 계층이 된다.

이러한 관점은 Nvidia AI 데이터 센터 효율성의 의미를 확장한다. 와트당 성능은 더 이상 프로세서 사양에서 끝나지 않는다. 작업을 프로세서로 보내는 모든 결정까지 이어진다.

이 차이는 특히 전력 상한 아래에서 중요하다. 시설이 더 많은 전력을 확보할 수 없다면, 실제 용량은 설치된 각 GPU가 그 한도 내에서 얼마나 많은 유용한 출력을 낼 수 있는지에 달려 있다.

따라서 소프트웨어 개선은 용량 확장과 비슷한 역할을 할 수 있다. 시설의 최대 전기 부하를 늘리지 않고도 추가 요청을 처리할 여유를 만들거나, 지연을 줄이거나, 더 많은 가속기를 운영할 수 있게 한다.

최근 논의가 단순한 또 하나의 지속가능성 제안 이상인 이유가 여기에 있다. 에너지 최적화는 수익, 배포 속도, 그리고 하이퍼스케일러가 판매할 수 있는 AI 서비스의 양과 직접 연결된다.

945 TWh 전망이 모든 와트를 용량으로 바꾸다

전력은 운영 비용에서 AI 확장을 제한하는 제약 요인으로 바뀌었다.

IEA는 데이터 센터가 2024년에 약 415TWh를 소비했으며, 이는 전 세계 전력 사용량의 약 1.5%에 해당한다고 추정했다. 소비량은 이전 5년간 연평균 12%씩 증가했다.

기준 시나리오에서는 이 소비량이 2030년까지 두 배 이상 늘어나 약 945TWh에 이를 것으로 전망한다. 그렇게 되면 데이터 센터는 전 세계 전력 소비량의 3%에 약간 못 미치는 비중을 차지하게 된다.

이 글로벌 비중은 관리 가능한 수준처럼 들릴 수 있다. 하지만 데이터 센터는 비교적 적은 수의 지역에 막대한 부하를 집중시키기 때문에 지역적 영향은 더 흡수하기 어렵다.

새 시설은 2~3년 안에 가동될 수 있다. 반면 송전선, 변전소, 발전 프로젝트, 전력망 업그레이드는 계획과 건설에 훨씬 더 긴 시간이 필요한 경우가 많다.

미국과 중국은 2030년까지 데이터 센터 수요 증가의 대부분을 차지할 것으로 예상된다. IEA는 2024년 수준 대비 미국에서 약 240TWh, 중국에서 175TWh가 증가할 것으로 전망한다.

AI 훈련과 추론에 일반적으로 사용되는 가속 서버는 신규 수요의 가장 큰 원천이다. IEA 기준 시나리오에서 이들의 전력 소비는 연간 30% 성장할 것으로 예상된다.

이 서버들은 전 세계 데이터 센터 전력 소비 순증분의 거의 절반을 차지한다. 일반 서버가 약 5분의 1을 기여하고, 냉각과 같은 인프라가 또 다른 5분의 1을 차지한다.

IEA 에너지 전망은 고효율 시나리오도 제시한다. 소프트웨어, 하드웨어, 인프라 전반에서 더 강력한 개선이 이뤄질 경우 2035년에는 동일한 디지털 서비스를 15% 이상 적은 전력으로 제공할 수 있다.

이 시나리오는 경제적 이해관계를 보여준다. 급속히 확장되는 전 세계 부하에서 15%의 효율 향상은 환경 관련 각주가 아니다. 그만큼의 전력으로 동등한 신규 발전 설비 없이도 추가 서비스를 지원할 수 있다는 의미다.

Amazon, Google, Meta, Microsoft를 비롯한 하이퍼스케일러와 주요 AI 공급업체는 이 압박을 직접 받고 있다. 이들은 전력회사가 공급 인프라를 구축하는 속도보다 더 빠르게 프로세서를 주문할 수 있다.

이들은 장기 전력 계약, 재생에너지 프로젝트, 원자력 계약, 현장 발전, 맞춤형 실리콘으로 대응해 왔다. 또한 새로운 냉각 및 전력 공급 설계를 필요로 하는 고밀도 시스템도 개발하고 있다.

각 대응에는 한계가 있다. 신규 발전에는 시간이 걸리고, 맞춤형 칩은 긴 개발 주기를 요구하며, 고밀도 랙은 값비싼 시설 변경을 초래할 수 있다.

소프트웨어는 다른 시간축에서 작동한다. 운영자는 새로운 제조 공정이나 전력망 연결을 기다리지 않고도 추론 라우팅, 모델 선택, 스케줄링, 전력 정책을 수정할 수 있다.

이 기회는 공급업체가 GPU는 보유하고 있지만 모든 GPU를 동시에 가동할 전력이 부족할 때 가장 분명하다. 더 나은 소프트웨어는 고정된 전력 상한 아래에서 완료되는 유용한 연산량을 늘릴 수 있다.

또한 기업이 새 워크로드를 배치하는 위치에도 영향을 줄 수 있다. 한 지역에 여유 용량을 보유한 하이퍼스케일러는 지연 시간 및 데이터 거버넌스 제약을 고려해 적합한 작업을 과부하 상태의 전력망에서 옮길 수 있다.

이 압박은 엔터프라이즈 AI 구매자에게도 영향을 미친다. 공급업체의 에너지 비용, 활용률, 전력 가용성은 서비스 용량, 응답 시간, 고급 모델 접근성에 영향을 준다.

개발자는 추론 요청마다 별도의 전기 요금을 받지 않을 수 있다. 그러나 할당량, 지연 시간, 모델 가용성, 불필요한 토큰 사용을 줄이라는 압박을 통해 그 결과를 마주한다.

따라서 업계의 전력 문제는 소프트웨어 수요 문제이기도 하다. 불필요한 모든 연산은 다른 요청에 제공할 수 없는 용량을 차지한다.

Nvidia AI 데이터 센터 효율성에 이제 워크로드 제어도 포함된다

Nvidia 자체 제어 기능은 칩 효율성과 소프트웨어 효율성의 경계가 이미 흐려졌음을 보여준다.

Nvidia의 Blackwell 플랫폼에는 구성 가능한 전력 프로필이 포함돼 있다. 이 프로필은 특정 워크로드에 맞춰 GPU 컴퓨팅 주파수, 메모리 주파수, 전력 한도, 캐시 동작, NVLink 상태를 조정할 수 있다.

Nvidia는 자사의 제어 기능이 전체 성능의 최소 97%를 유지하면서 에너지 소비를 최대 15% 줄일 수 있다고 말한다. 또한 전력 제약이 있는 시설에서는 처리량을 최대 13% 높일 수 있다고 주장한다.

이는 공급업체의 주장으로, 워크로드 특성에 따라 달라진다. 그럼에도 시장이 어떻게 변하고 있는지를 보여준다. 프로세서의 효율성은 더 이상 제조 시점에 확정된 하나의 고정 수치로 취급되지 않는다.

소프트웨어는 시스템이 성능 곡선의 어느 지점에서 작동할지 선택할 수 있다. 가능한 최고 클록 속도는 불균형적으로 많은 전력을 소비하면서도 작은 성능 향상만 낼 수 있다.

속도를 조금 낮추면 대부분의 출력을 유지하면서 다른 GPU에 쓸 전력을 확보할 수 있다. 랙 규모에서는 기기별 작은 성능 감소보다 누적된 이득이 더 클 수 있다.

같은 원칙은 하드웨어 제어 계층 위에도 적용된다. ML.Energy 연구자들은 서로 다른 수치 형식을 사용해 Alibaba의 Qwen3-235B-A22B-Thinking 모델을 테스트했다.

8비트 부동소수점 형식인 FP8은 bfloat16보다 낮은 정밀도로 값을 표현한다. 연구자들은 FP8 추론이 테스트한 문제 해결 작업에서 약 3분의 1 적은 에너지를 소비한다는 사실을 발견했다.

낮은 정밀도가 모든 워크로드에 적합한 것은 아니다. 정확도 변화를 유발할 수 있고, 결과는 모델, 하드웨어, 구현 방식에 따라 달라진다. 그러나 이는 개발자가 기반 가속기를 교체하지 않고도 에너지와 성능에 관한 결정을 내릴 수 있음을 보여준다.

훈련 역시 또 다른 대상이다. 대규모 작업은 여러 프로세서에 걸쳐 작업을 분할하지만, 이들 프로세서가 항상 같은 속도로 진행되는 것은 아니다.

일부 구성 요소는 먼저 끝난 뒤 전력을 소비하면서 동기화 지점에서 대기한다. 다른 구성 요소는 다음 단계가 시작되는 시점을 결정하는 지연 작업자가 된다.

Chung의 Perseus 최적화기는 작업량이 적은 훈련 구성 요소를 식별하고, 더 바쁜 구성 요소와 함께 끝나도록 속도를 늦춘다. 공개된 Perseus 연구는 처리량을 줄이지 않고 에너지를 최대 30% 절감했다고 보고했다.

중요한 메커니즘은 동기화 인식 전력 제어다. Perseus는 전체 훈련 작업의 속도를 단순히 낮추지 않는다. 다른 구성 요소가 완료 시점을 좌우하기 때문에 성능 여유가 있는 작업을 겨냥한다.

이러한 구분은 절감 효과를 상업적으로도 의미 있게 만든다. 훈련 시간이 비례적으로 길어지고 값비싼 인프라를 점유한다면, 하이퍼스케일러가 전력 소비를 줄여도 얻는 이점은 크지 않다.

소프트웨어는 요청이 GPU에 도달하기 전에 추론 수요를 줄일 수도 있다. 공급업체는 반복되는 프롬프트와 응답을 캐싱해 동일하거나 매우 유사한 요청에 대한 연산을 피할 수 있다.

또한 일상적인 요청은 더 작은 모델로 라우팅하고, 더 높은 역량이 필요한 작업에만 대형 모델을 할당할 수 있다. 이 모델 라우팅 접근법은 연산을 난이도에 따라 선택되는 자원으로 취급한다.

프롬프트 압축은 입력 토큰 수를 줄일 수 있다. 출력 제한은 모델이 사용자의 필요를 넘어서는 텍스트를 생성하지 못하도록 할 수 있다. 더 나은 배치 처리는 가속기가 충분히 활용되지 않는 시간을 줄일 수 있다.

컴파일러는 모델 그래프를 최적화하고, 연산을 융합하며, 불필요한 데이터 이동을 줄일 수 있다. 메모리와 프로세서 간 데이터 전송은 산술 연산과 마찬가지로 에너지를 소비하기 때문에 이러한 개선은 중요하다.

인프라 팀은 클라우드 인스턴스 규모를 적절히 조정할 수도 있다. 과도하게 큰 인스턴스는 낮은 활용률을 보이면서도 상당한 기본 전력을 소모할 수 있으며, 특히 대규모 플릿에서는 더욱 그렇다.

레거시 애플리케이션도 또 다른 형태의 낭비를 만든다. 고객 대면 개발보다 마이그레이션의 긴급성이 낮아 보이기 때문에, 오래된 소프트웨어가 비효율적인 장비를 계속 가동하게 만들 수 있다.

SHI의 데이터센터 인프라 전문가인 Chetan Visrolia는 Tom’s Hardware에 레거시 랙이 비용 절감의 손쉬운 표적이라고 설명했다. 이런 장비는 유용한 작업을 거의 제공하지 않으면서 공간, 냉각, 전력을 소비할 수 있다.

이러한 기법은 하나의 제품이나 단일한 혁신을 의미하지 않는다. 이들의 공통된 작동 원리는 결과를 개선하지 않는 작업을 제거하는 데 있다.

이것이 Nvidia AI 데이터센터 효율성의 핵심적인 전환점이다. 더 빠른 하드웨어는 여전히 가치가 있지만, 그 속도가 유용한 산출물로 이어질지 아니면 추가 수요로 이어질지는 소프트웨어가 결정한다.

모든 AI 사용을 줄이지 않고도 워크로드 이동으로 전력망을 지원할 수 있다

다음 소프트웨어 기회는 단순히 전기를 덜 쓰는 것이 아니라, 언제 어디에서 사용할지를 선택하는 데 있다.

AI 워크로드는 긴급성에서 차이가 난다. 대화형 어시스턴트는 빠른 응답이 필요하지만, 모델 평가, 데이터 처리, 일부 학습 작업은 지연을 감수할 수 있다.

스케줄러는 유연한 작업을 지역 전력 수요가 가장 높은 시간대에서 옮길 수 있다. 전력망에 여유 용량이 생기거나 재생에너지 발전량이 풍부해졌을 때 작업을 재개할 수 있다.

이 접근법은 시간적 워크로드 이동이라고 불린다. 지리적 워크로드 이동은 컴퓨팅 및 전력 용량이 있는 다른 데이터센터로 적합한 작업을 보낸다.

ETH Zurich의 박사 연구원 Sophie Hall은 Google의 글로벌 데이터센터 플릿 전반에서 워크로드 이동을 연구해 왔다. 그의 연구는 성능 보장을 유지하면서 하루 전 계획과 실시간 스케줄링을 결합한다.

이 아이디어는 최적화 목표를 바꾼다. 총 전력 소비량은 여전히 중요하지만, 소비 시점과 장소가 비용, 배출량, 전력망 부담을 결정할 수 있다.

재생에너지가 과잉 공급되는 기간에 소비되는 1메가와트시는 전력 공급이 제약되는 저녁 피크 시간의 동일한 소비와 다른 시스템 효과를 만든다. 소프트웨어는 물리적 인프라보다 더 빠르게 대응할 수 있다.

National Grid, Nvidia, Emerald AI, Electric Power Research Institute가 참여한 2026년 시험은 유연한 수요의 사례를 제시했다. 이 시험은 요청 시 AI 데이터센터가 전력 사용량을 빠르게 줄일 수 있음을 보여줬다.

보고된 결과에 따르면 한 운영자는 1분 이내에 수요를 약 66%까지 낮췄다. 또 다른 시험에서는 10시간 동안 10% 용량으로 운영됐다.

이러한 시연이 모든 상업용 워크로드를 그렇게 강하게 감축할 수 있음을 입증하는 것은 아니다. 다만 최소한 일부 AI 연산은 전통적인 산업 수요보다 더 빠르게 전력망 조건에 대응할 수 있음을 보여준다.

이 유연성은 전력망 접속에도 영향을 줄 수 있다. 운영자가 전력망 스트레스 기간에 수요를 줄이는 데 동의한다면, 전력회사는 시설을 더 빨리 연결할 수 있다.

데이터센터 측의 대가는 일시적인 컴퓨팅 가용성 감소다. 전력회사 측의 이점은 시설의 이론적 최대치만큼의 발전 용량을 항상 필요로 하지 않는 제어 가능한 부하다.

Nature Reviews Clean Technology에 발표된 연구도 전력망 통합 운영을 검토했다. AI 지속가능성 리뷰는 워크로드를 전력망 조건에 맞추면 재생에너지 비중이 높은 전력망에서 생애주기 배출량을 약 10% 줄일 수 있다고 추정했다.

이 리뷰는 에너지, 탄소, 물 사용 목표가 충돌할 수 있다고도 경고했다. 물 소비를 줄이는 전략이 일부 운영 조건에서는 배출량을 늘릴 수 있다.

이러한 복잡성은 하나의 고정된 효율성 목표를 따르기보다 여러 변수를 최적화할 수 있는 소프트웨어에 유리하다. 스케줄러는 전력 공급, 탄소 집약도, 물 스트레스, 지연 시간, 데이터 위치 규칙을 고려할 수 있다.

Google은 무탄소 전력의 가용성에 따라 컴퓨팅 작업을 이동시키는 데 수년을 투자해 왔다. 다른 하이퍼스케일러도 유사한 스케줄링에 필요한 글로벌 인프라를 갖추고 있지만, 구체적인 방법과 결과는 서로 다르다.

이러한 발전은 새로운 경쟁 차원을 만든다. 더 많은 리전, 더 나은 워크로드 가시성, 성숙한 스케줄링 시스템을 갖춘 제공업체는 제약된 인프라에서 더 많은 서비스를 끌어낼 수 있다.

소규모 운영자도 클라우드 오케스트레이션과 워크로드 제어를 통해 이점을 얻을 수 있다. 글로벌 플릿은 없을 수 있지만, 배치 작업을 연기하고, 유휴 리소스를 줄이며, 적절한 모델을 선택할 수 있다.

개발자도 이 계층에 영향을 준다. 지연 시간 요구사항을 명확히 정의하는 애플리케이션은 인프라 소프트웨어가 유연한 작업을 효율적으로 스케줄링할 수 있는 여지를 더 많이 준다.

대기할 수 있는 작업을 긴급한 것으로 표시하면 시스템은 즉시 사용할 용량을 확보해야 한다. 따라서 더 나은 워크로드 메타데이터는 에너지 효율 도구가 될 수 있다.

애플리케이션 수준에서 AI 워크플로가 중요한 이유가 여기에 있다. 신중하게 범위를 정한 요청과 재사용 가능한 컨텍스트는 인프라 스케줄러가 실행을 최적화하기 전에 반복 작업을 줄일 수 있다.

소프트웨어 절감에는 데이터, 정확성, 리바운드 한계가 있다

소프트웨어 최적화는 전력 부족을 완화할 수 있지만, AI 성장의 물리적 한계를 없앨 수는 없다.

첫 번째 한계는 측정이다. PUE는 운영자가 시설 경계에서 계산할 수 있기 때문에 널리 사용된다. 다양한 애플리케이션 전반의 유용한 연산을 측정하는 일은 더 어렵다.

학습 실행은 단순 비교가 어려운 체크포인트, 평가, 모델 역량을 만들어 낸다. 추론 서비스는 길이, 지연 시간 요구사항, 상업적 가치가 서로 다른 요청을 처리한다.

운영자는 토큰당 와트시를 줄이면서도 불필요한 토큰을 더 많이 생성할 수 있다. 그렇지 않았다면 실행되지 않았을 저가치 요청을 처리해 GPU 활용률을 높일 수도 있다.

이 때문에 워크로드 수준의 지표가 필요하다. 서로 다른 모델이 허용 가능한 결과에 도달하기 위해 서로 다른 토큰 수를 요구할 때, 완료된 작업당 에너지는 토큰당 에너지보다 더 많은 정보를 제공한다.

품질 역시 분모에 포함돼야 한다. 더 적은 에너지를 소비하는 저정밀도 모델도 오류 때문에 사용자가 작업을 반복해야 한다면 이점이 없다.

같은 주의는 소형 모델 라우팅에도 적용된다. 소형 모델은 많은 일상적 요청을 효율적으로 처리할 수 있지만, 부정확한 라우팅 결정은 재시도를 만들거나 나중에 작업을 상위 모델로 넘길 수 있다.

캐싱은 개인정보 보호 및 최신성 문제를 야기한다. 캐시된 응답은 연산을 절감할 수 있지만, 답변이 최신 데이터나 기밀 컨텍스트에 의존할 때는 적절하지 않을 수 있다.

워크로드 이동에도 엄격한 경계가 있다. 데이터 주권 규정은 다른 리전에 더 깨끗하거나 더 많이 이용 가능한 전력이 있더라도 정보가 국경을 넘는 것을 막을 수 있다.

대규모 데이터세트를 이동하려면 시간, 네트워크 용량, 에너지가 소비된다. 전송은 운영 리스크를 높이거나 고객 정보 처리 위치에 관한 약속을 위반할 수도 있다.

대화형 워크로드는 스케줄링 유연성이 제한적이다. 사용자는 재생에너지 전력이 나중에 공급될 것으로 예상된다는 이유로 몇 시간 동안 멈추는 어시스턴트를 받아들이지 않을 것이다.

학습 작업은 더 유연할 수 있지만, 중단은 실패 위험을 높일 수 있다. 운영자는 전력 가용성이 변할 때도 진행 상황을 보존하는 체크포인팅 및 복구 시스템이 필요하다.

가장 큰 불확실성은 제번스의 역설이다. 효율성은 자원의 실질 비용을 낮출 수 있으며, 이는 더 많은 소비를 유도해 일부 절대적 절감 효과를 없앤다.

추론당 15%를 절감한 제공업체는 확보된 용량을 추가 요청 처리에 사용할 수 있다. 요청당 에너지는 개선되지만, 시설은 계속해서 할당된 전체 전력을 소비한다.

이 결과는 경제적으로 비합리적인 것이 아니다. 제공업체는 동일한 전기를 더 많은 서비스로 전환한 것이다. 그러나 이는 소프트웨어 효율성이 총수요나 배출량을 자동으로 줄이지는 않는다는 의미다.

이 구분은 공공 정책에 중요하다. 절감된 모든 와트가 추가 AI 생성에 사용된다면, 효율성 기준만으로는 지역 전력망을 보호하지 못할 수 있다.

하드웨어 개선도 비슷한 반등을 만들어 왔다. 더 빠른 프로세서는 개별 연산에 필요한 에너지를 줄였지만, 동시에 소프트웨어 수요와 데이터센터 규모는 확대됐다.

소프트웨어 경로는 비효율적인 애플리케이션을 지속가능한 것처럼 보이게 할 위험도 있다. 명백한 낭비를 제거한다고 해서 모든 AI 워크로드가 에너지 사용을 정당화할 만큼 충분한 가치를 창출하는지에 답할 수는 없다.

최적화는 송전, 발전, 냉각 투자를 대체할 수도 없다. IEA의 전망은 소프트웨어만의 해법이 아니라 전체 시스템 전반의 지속적인 개선을 전제로 한다.

따라서 Nvidia AI 데이터센터 효율성은 두 가지 방식으로 평가해야 한다. 운영자는 와트당 유용한 작업량과 시설의 절대 전력 소비량을 모두 추적해야 한다.

첫 번째 지표는 엔지니어링이 개선됐는지를 보여준다. 두 번째 지표는 이러한 개선이 전력망 부담을 완화했는지, 아니면 단지 더 많은 수요를 가능하게 했는지를 보여준다.

투명성은 여전히 제한적이다. 하이퍼스케일러는 일부 지속가능성 및 효율성 수치를 공개하지만, 워크로드 수준의 에너지 데이터는 제공업체 간 비교가 거의 불가능하다.

일관된 보고가 없다면 고객은 하나의 모델이나 서비스가 동등한 작업을 더 적은 전기로 완료하는지 쉽게 판단할 수 없다. 공급업체 주장은 유리한 워크로드나 내부 기준선에 의존할 수 있다.

독립적인 벤치마크가 도움이 될 수 있다. 여기서는 작업 품질, 지연 시간, 하드웨어 활용률, 에너지를 함께 측정해야 한다.

정확도를 무시하는 벤치마크는 저하된 출력을 보상한다. 지연 시간을 무시하는 벤치마크는 실제 애플리케이션에 부적합한 구성을 보상할 수 있다.

이러한 회의론은 소프트웨어 최적화를 무시할 이유가 아니다. 이를 환경 마케팅이 아니라 인프라 엔지니어링으로 평가해야 할 이유다.

소프트웨어 전략의 성과를 보여줄 세 가지 신호

검증 기준은 소프트웨어 절감이 낮은 품질이나 더 높은 총수요를 숨기지 않으면서 측정 가능한 운영 용량으로 이어지는지 여부다.

첫 번째 신호는 Nvidia와 하이퍼스케일러의 워크로드 수준 보고다. 시설 PUE는 전력 사용량을 완료된 AI 작업과 연결하는 지표와 함께 제시돼야 한다.

유용한 공개 자료는 모델 크기, 정밀도 형식, 전력 설정 전반에서 일치하는 작업을 비교할 것이다. 에너지 소비량과 함께 정확도와 지연 시간도 포함해야 한다.

공급업체가 재현 가능한 결과를 공개한다면 소프트웨어 효율성 주장은 신뢰도를 얻는다. 광범위한 플릿 평균만 제시한다면 고객은 진정한 최적화와 워크로드 구성 변화의 차이를 구분하기 어려울 것이다.

두 번째 신호는 유연한 전력망 접속의 더 폭넓은 도입이다. 시험은 일부 AI 부하가 빠르게 대응할 수 있음을 보여줬지만, 상업적 도입에는 전력회사, 규제기관, 운영자 간 합의가 필요하다.

데이터센터가 차단 가능한 서비스 또는 자동화된 수요 반응 의무를 수용하는지 주목해야 한다. 이러한 합의는 워크로드 이동이 연구와 통제된 시연을 넘어섰음을 보여줄 것이다.

또한 경제적 상충관계도 드러낼 것이다. 시설은 컴퓨팅 용량이 줄어드는 기간을 수용하는 대신 전력에 더 빨리 접근할 수 있다.

운영자가 이러한 합의를 거부하고 중단 없는 최대 전력만 계속 요구한다면, 지리적·시간적 스케줄링은 제한적인 도구로 남을 것이다.

세 번째 신호는 공급업체가 효율 향상을 어떻게 활용하는지다. 작업당 에너지 사용량이 낮아지면 신규 건설을 늦추거나 피크 수요를 줄일 수 있는 경우 소프트웨어의 가치가 더욱 커진다.

하지만 모든 효율 향상이 즉시 추가 토큰 생성으로 이어지고 절대적인 전력 소비량이 기존과 같은 속도로 증가한다면, 이러한 결론은 약해진다.

그렇다고 엔지니어링의 가치가 사라지는 것은 아니다. 고정된 전력으로 더 많은 결과물을 내는 일은 여전히 중요하다. 다만 이 기술은 총에너지 수요보다 용량 부족 문제를 해결하는 데 더 효과적이라는 뜻이다.

기업은 효율적인 인프라에 관한 일반적인 주장에 의존하기보다 공급업체에 작업 수준의 근거를 요구해야 한다. 개발자는 더 작은 모델, 짧은 프롬프트, 캐싱, 출력 제한이 필요한 결과 품질을 유지하는지 검증해야 한다.

인프라 팀은 유연하게 처리할 수 있는 작업을 식별하고 그 서비스 요건을 명시적으로 정의해야 한다. 그러면 스케줄러가 부담이 낮은 시간대, 리전 또는 프로세서 설정을 선택할 여지가 생긴다.

업계는 기술적으로 가능한 연산과 실제로 유용한 연산의 차이도 유지해야 한다. 불필요한 작업을 최적화해도 그 작업 자체가 불필요하다는 사실은 변하지 않는다.

소프트웨어가 매력적인 이유는 칩, 변전소, 발전소보다 더 빠르게 변화할 수 있기 때문이다. 애플리케이션, 알고리즘, 시스템, 하드웨어 제어 전반에 걸쳐 누적되는 개선 효과를 만들어낼 수 있다.

그러나 그 성공은 하나의 연구실 수치로 측정되지 않을 것이다. 와트당 완료 작업량 증가, 배포 차단 감소, 더 유연한 전력망 운영, 그리고 품질을 반영한 투명한 벤치마크에서 드러날 것이다.

이제 실질적인 질문은 분명하다. 하이퍼스케일러들은 Nvidia AI 데이터센터 효율을 풀스택 규율로 다룰 것인가, 아니면 주로 더 빨라진 실리콘을 통해서만 진전을 측정할 것인가? 개발자와 기업 구매자는 자신이 사용하는 AI 서비스에 대해 비교 가능한 에너지, 품질, 지연 시간 데이터를 요구함으로써 시장을 첫 번째 방향으로 이끌 수 있다.