DeepSeek, 8월 17일 API 가격 변경… 실시간 워크로드에 부담 가중
DeepSeek는 8월 17일 API 요금을 변경해, 추론 비용에 이용 시간을 직접 반영하는 두 구간 피크 요금제를 도입한다. 회사는 비피크 시간대 이용 요금이 피크 시간대의 절반이라고 밝혔다. 개발자 입장에서 당면한 차이는 분명하다. 유연한 배치 작업은 더 낮은 요금을 택할 수 있지만, 고객 대상 애플리케이션은 단순히 기다릴 수 없다.
이번 변경은 2026년 8월 17일 베이징 시간 자정부터 적용된다. 피크 시간대는 베이징 시간 오전 9시부터 정오까지, 그리고 오후 2시부터 오후 6시까지다. DeepSeek의 공식 가격 페이지에 따르면 그 외 모든 시간은 비피크로 분류된다.
이는 단순한 토큰 요금 조정 이상의 의미를 지닌다. DeepSeek는 접근성에 명시적인 시간 가치를 부여해 애플리케이션 일정을 비용 통제 수단으로 바꾸고 있다. 이는 에이전트, 지원 시스템, 코딩 제품, 즉각적인 응답이 필요한 기타 서비스의 운영 요구와 자사의 저비용 포지셔닝을 긴장 관계에 놓는다.
이 모델은 시작 시점의 불확실성을 수용하는 지연 허용 작업에 유리한 조건을 제공하는 클라우드 컴퓨팅의 용량 요금제와 유사하다. 예를 들어 Google은 즉시 시작할 필요가 없는 정해진 기간의 작업을 위해 Flex-start VMs를 제공한다. DeepSeek는 이와 비슷한 경제적 신호를 모델 API 자체에 더 가깝게 적용하고 있다.
그 결과 API 고객은 두 부류로 나뉜다. 워크로드 실행 시점을 제어하는 팀은 새로운 최적화 수단을 얻게 된다. 실시간 사용자를 서비스하는 팀은 애플리케이션과 토큰 사용량이 그대로여도 부분적으로 시간에 따라 결정되는 요금을 떠안게 된다.
DeepSeek가 8월 17일에 변경하는 사항
DeepSeek는 항상 동일하게 적용되던 단일 요금 체계를, 동일한 모델 활동에 시간대별로 다른 요금을 부과하는 일일 일정으로 대체한다.
업데이트된 구조는 DeepSeek-V4-Flash와 DeepSeek-V4-Pro 모두에 적용된다. 캐시된 입력, 캐시되지 않은 입력, 생성된 출력이라는 주요 청구 범주 전반에도 적용된다. 따라서 피크 시간대에 처리된 토큰은 피크 시간대 밖에서 처리된 동등한 토큰과 다른 요금이 부과된다.
API, 즉 애플리케이션 프로그래밍 인터페이스는 소프트웨어가 소비자용 채팅 인터페이스를 사용하지 않고 모델에 요청을 보낼 수 있게 한다. 개발자는 일반적으로 처리된 토큰의 수와 유형에 따라 비용을 지불한다. 토큰은 단어, 단어 조각, 숫자 또는 문장부호를 나타내는 작은 단위다.
DeepSeek의 일정에 따르면 하루 중 7시간이 두 개의 피크 시간대에 속한다. 나머지 17시간은 비피크 시간대다. 이 일정은 각 고객의 현지 시간이 아닌 베이징 시간을 따르므로, 실제 영향은 지역별로 크게 달라진다.
첫 번째 구간은 베이징 시간 오전 9시부터 정오까지다. 두 번째 구간은 오후 2시에 시작해 오후 6시에 끝난다. 두 구간 사이에는 2시간의 간격이 있어, 중국 업무일 중간에 짧은 비피크 시간대가 형성된다.
북미 개발자들은 위치와 일광절약시간제 적용 여부에 따라 이 시간대를 저녁이나 야간에 마주하는 경우가 많다. 따라서 미국과 캐나다의 많은 주간 서비스에는 비피크 접근이 비교적 쉬워진다. 아시아 팀은 일반적인 업무 시간에 피크 요금을 마주할 가능성이 더 크다.
8월 14일 기준 가격 페이지에는 DeepSeek-V4-Flash-0731과 DeepSeek-V4-Pro-0813이 현재 버전으로 표시돼 있다. 두 모델 모두 사고 모드와 비사고 모드, 100만 토큰 컨텍스트 윈도우, 도구 호출, JSON 출력, DeepSeek의 Responses 및 Anthropic 호환 API를 지원한다.
이 페이지는 두 모델에 각각 다른 동시성 제한도 제시한다. 동시성은 서비스가 한 번에 허용하는 요청 또는 처리 스트림의 수를 의미한다. 지연된 워크로드가 나중에 용량 병목을 만난다면 낮은 요금의 효용이 떨어질 수 있기 때문에 중요하다.
DeepSeek는 이러한 정확한 시간대를 선택한 이유를 설명하는 상세한 수요 곡선을 공개하지 않았다. 각 기간에 현재 얼마나 많은 트래픽이 유입되는지를 보여주는 이용률 데이터도 내놓지 않았다. South China Morning Post가 보도한 구독자 메시지에 따르면, 회사는 앞서 시간 기반 가격 책정이 더 나은 자원 배분과 서비스 안정성으로 이어진다고 설명했다.
그 설명은 타당하지만, 독립적으로 검증된 용량 연구가 아니라 회사 측의 근거에 해당한다. 8월 일정은 DeepSeek가 수요를 어디로 옮기고 싶은지를 보여준다. 그러나 해당 시간대 밖에 얼마나 많은 여유 용량이 있는지, 또는 이 유인이 혼잡을 해소할지는 보여주지 않는다.
고객에게 가장 안전한 해석은 운영 관점의 해석이다. 같은 요청도 이제 두 가지 청구 결과를 낳을 수 있으며, 결정 변수는 DeepSeek가 이를 처리하는 시점이다. 새 구조가 시행되면 월간 토큰 사용량만을 기반으로 한 비용 예측은 불완전해진다.
최저 요금에는 이제 일정 제어가 필요하다
DeepSeek의 가장 유리한 경제성은 대기, 큐잉 또는 시간대 이동이 가능한 워크로드에 돌아갈 것이다.
일부 모델 작업은 본질적으로 유연하다. 기업은 문서 인덱싱, 야간 평가, 합성 데이터 생성, 보고서 초안 작성 또는 대규모 분류 작업을 지연할 수 있다. 이러한 작업은 큐에 넣고 비피크 시간대가 열릴 때 시작할 수 있다.
새 시스템에서는 이런 유연성이 가치가 된다. 팀은 요청을 긴급도에 따라 태그하고, 실시간 작업에는 즉시 실행을 할당하며, 백그라운드 작업은 나중에 보낼 수 있다. 또한 모든 배치를 고정된 현지 시간에 시작하는 대신 하루 전체에 걸쳐 처리를 분산할 수 있다.
고객 대상 제품의 선택지는 더 적다. 지원 어시스턴트는 고객이 접속해 있는 동안 답해야 한다. 코딩 어시스턴트는 개발자가 작업하는 동안 응답해야 한다. 검색 기능은 기본 모델이 피크 시간대에 진입했다는 이유만으로 쿼리를 몇 시간 동안 보류할 수 없다.
에이전트형 애플리케이션은 추가적인 복잡성에 직면한다. 에이전트는 하나의 사용자 작업을 완료하는 동안 계획, 검색, 도구 선택, 검증, 수정 등을 포함해 여러 차례 모델 호출을 할 수 있다. 따라서 비용은 토큰 사용량뿐 아니라 완료 전 필요한 단계 수에도 좌우된다.
캐싱은 반복 입력 처리 비용을 줄일 수 있다. DeepSeek의 컨텍스트 캐싱 시스템은 재사용 가능한 프롬프트 자료를 디스크에 저장하고 이후 요청에서 이를 재사용하려고 시도한다. 회사의 캐싱 문서는 이를 반복 컨텍스트 비용을 낮추는 방법으로 설명한다.
그러나 캐싱이 시간대 문제를 없애지는 않는다. DeepSeek의 새 일정은 캐시된 입력과 캐시되지 않은 입력을 구분하면서 둘 모두에 피크 및 비피크 처리를 적용한다. 캐시 재사용률이 뛰어난 제품도 사용자가 지정된 시간대에 유입되면 더 높은 요금을 부담할 수 있다.
따라서 팀은 개별 토큰이 아니라 전체 작업을 평가해야 한다. 입력 요금이 유리한 모델도 더 많은 추론 단계를 사용하거나, 더 긴 출력을 생성하거나, 재시도가 필요하다면 매력이 떨어질 수 있다. 반대로 표시 요금이 더 높더라도 더 적은 호출로 작업을 완료한다면 경제성을 유지할 수 있다.
이 작업 단위 관점은 자율 시스템에서 특히 중요하다. 이들의 소비 패턴은 단순 질의응답 인터페이스보다 예측하기 어렵다. 한 사용자 요청은 한 번의 호출로 끝날 수 있지만, 다른 요청은 여러 도구와 여러 차례의 모델 추론을 유발할 수 있다.
새 구조는 예산 알림도 바꾼다. 고정된 일일 토큰 임계값은 더 이상 고정된 지출 임계값에 대응하지 않는다. 재무 및 엔지니어링 팀은 모델, 토큰 범주, 시간대별로 사용량을 구분해야 한다.
이를 위해 청구 내보내기 또는 애플리케이션 텔레메트리에 명확한 타임스탬프가 필요하다. 팀은 요청 시작 시점, 처리 모델, 캐시된 입력 사용 여부, 후속 호출 횟수를 기록해야 한다. 이러한 필드가 없으면 예상치 못한 증가를 설명하기 어렵다.
워크로드 라우팅은 또 다른 대응책이다. 애플리케이션은 긴급한 작업을 지연 시간과 가용성을 기준으로 선택된 모델에 보내고, 백그라운드 작업은 저비용 경로에 할당할 수 있다. 모델을 전환하면 출력 품질, 도구 동작, 형식, 안전성 성능이 달라질 수 있으므로 이 전략에는 평가가 필요하다.
라우팅 계층은 엔지니어링 부담도 추가한다. 팀은 여러 제공업체의 프롬프트를 유지하고, 응답을 정규화하며, 별도 자격 증명을 관리하고, 폴백 동작을 테스트해야 한다. 비피크 실행으로 보이는 절감 효과는 이러한 운영 비용을 포함하면 줄어들 수 있다.
가장 큰 혜택을 볼 위치에 있는 기업은 이미 온라인 추론과 오프라인 추론을 분리한 기업이다. 이들은 엄격한 지연 시간 목표가 있는 작업과 지연을 허용할 수 있는 작업을 알고 있다. 모든 요청을 하나의 동기식 경로로 처리하는 조직은 더 많은 재설계 작업을 앞두고 있다.
DeepSeek의 가격 전쟁 전략, 용량 비용과 맞닥뜨리다
이제 핵심 긴장은 DeepSeek와 고가 경쟁사 간의 대결이 아니다. DeepSeek의 경제성 약속과 집중된 수요를 처리하는 비용 간의 긴장이다.
DeepSeek는 저렴한 API 요금을 생성형 AI의 핵심 경쟁 이슈로 만드는 데 기여했다. 2025년 2월, 회사는 한산한 시간대에 대폭 할인 요금을 도입하며 중국 및 해외 모델 제공업체에 압박을 가했다. Reuters 보도는 이 조치를 DeepSeek의 저비용 모델에 이미 맞서고 있던 경쟁사들에 대한 도전으로 설명했다.
2026년 8월의 변경은 할인된 비피크 접근을 포기하는 것이 아니다. 이는 수요가 낮은 기간과 높은 기간 사이의 격차를 더 크게 공식화한다. 가장 저렴한 경험은 여전히 제공되지만, 이를 얻으려면 고객이 일정상의 유연성을 제공해야 한다.
이는 상업적 서사에서 의미 있는 반전이다. 저요금은 한때 단순한 고객 확보 메시지로 기능했다. 시간 기반 요금은 경제성을 지역, 워크로드 설계, 사용자 행동에 따라 가치가 달라지는 조건부 약속으로 바꾼다.
DeepSeek는 이 메커니즘이 자원 배분과 서비스 안정성을 지원한다고 말한다. 이 논리는 기본적인 인프라 경제학을 따른다. 가속기 용량은 비싸고, 수요는 하루 동안 변동하며, 사용되지 않은 컴퓨팅 시간은 내일을 위해 저장할 수 없다.
낮은 비피크 요금은 고객이 지연 가능한 요청을 한산한 시간대로 옮기도록 유도한다. 충분한 사용자가 반응하면 DeepSeek는 동일한 인프라로 더 많은 총 작업을 처리할 수 있다. 또한 가장 급격한 수요 급증을 처리하기 위해 필요한 서버 수를 줄일 수도 있다.
피크 요금은 이 메커니즘의 반대편을 담당한다. 이는 용량 경쟁이 가장 치열할 때 지연 시간에 민감한 고객에게 더 많은 비용 부담을 요구한다. 그 비용은 추가 인프라에 투자하거나, 임의적 사용을 억제하거나, 두 가지 모두를 수행하는 데 쓰일 수 있다.
그러나 이 설계는 용량 관리의 일부를 고객에게 이전한다. DeepSeek는 예측 가능한 하나의 요금 뒤에서 모든 수요 급증을 흡수하는 대신, 개발자에게 어떤 작업이 즉시 실행될 가치가 있는지 결정하라고 요구한다. API의 가격은 제공업체가 애플리케이션의 실행을 선호하는 시점을 알려주는 신호가 된다.
이 접근 방식은 인접한 클라우드 시장에서 선례를 찾을 수 있다. Google의 Dynamic Workload Scheduler는 컴퓨팅 리소스를 기다릴 수 있는 워크로드에 비용 최적화 접근을 제공한다. 해당 스케줄러 요금은 유연한 소비와 표준 용량 기대치를 구분한다.
Google은 지연을 허용할 수 있는 모델 요청을 위한 유연한 추론 티어도 도입했다. 더 큰 흐름은 분명하다. AI 제공업체들은 긴급한 연산과 대기열에 넣을 수 있는 작업을 점점 더 구분하고 있다. DeepSeek의 일정이 주목받는 이유는 이 구분이 매일 정해진 시간에 명확히 드러나기 때문이다.
고정된 시간대는 계속 변하는 현물 가격보다 이해하기 쉽다. 개발자는 실시간 시장을 예측하지 않고도 이를 기준으로 계획을 세울 수 있다. 다만 고정된 일정은 특정 날짜의 실제 수요를 반영하지 못할 수 있다는 절충점이 있다.
공휴일, 제품 출시 또는 바이럴 이벤트는 트래픽을 예상 패턴에서 벗어나게 할 수 있다. DeepSeek은 명목상 피크 시간대에 여유 용량이 있거나 비피크 시간대에 혼잡을 겪을 수 있다. 회사가 규칙을 바꾸지 않는 한 고객에게는 여전히 정해진 요금이 적용된다.
지역적 효과는 경쟁 구도도 복잡하게 만든다. 베이징 업무 시간은 아시아 대부분 지역의 활발한 이용 시간대와 겹친다. 북미 팀은 일반적인 업무 시간이 DeepSeek의 피크 시간대 밖에 주로 놓인다는 점을 알게 될 수 있다.
이는 이 일정이 모든 경쟁업체에 동일한 압박을 가하지 않는다는 뜻이다. Alibaba, ByteDance, Tencent, Baidu 및 기타 중국 중심 제공업체들은 수요가 유사한 지역 리듬을 따르는 고객에게 서비스를 제공한다. 미국 제공업체는 표시된 토큰 요금이 더 높아 보이더라도 다른 사용 패턴 속에서 경쟁한다.
Alibaba Cloud는 또 다른 경쟁 경로를 보여준다. 이 회사의 Model Studio는 종량제 모델 호출, 묶음형 토큰 플랜, 여러 모델군에 대한 액세스를 지원한다. 이 회사의 token plan은 통합 사용량, 모델 전환 및 예측 가능한 구독 기반 소비를 강조한다.
이러한 제안은 DeepSeek의 API와 직접적으로 동등하지는 않다. 액세스 방식을 다르게 구성하며, 배포 지역, 모델, 할당량, 성능 특성이 서로 다를 수 있다. 그럼에도 경쟁업체가 동일한 시간표를 그대로 복제하지 않고도 시간 기반 가격 책정에 대응할 수 있음을 보여준다.
한 가지 대응책은 예측 가능한 월간 사용량이다. 또 다른 방식은 보장된 용량이 필요한 팀을 위한 예약 처리량이다. 세 번째는 고객을 고정된 시간에 묶어 두지 않으면서 지연을 허용하는 유연한 티어다.
DeepSeek의 우위는 최저 요금만으로 결정되지 않을 것이다. 개발자들은 안정성, 모델 품질, 지연 시간, 컨텍스트 처리, 캐시 동작, 데이터 정책, 지역별 접근성 및 통합 비용을 비교할 것이다. 가장 저렴한 토큰이 자동으로 가장 저렴한 완료 작업을 의미하지는 않는다.
가격 일정이 보장하지 않는 것
더 낮은 비피크 요금이 여유 용량을 보장하지 않으며, 더 높은 피크 요금이 더 나은 서비스를 보장하지도 않는다.
DeepSeek은 이 정책을 향상된 리소스 배분 및 안정성과 연결했다. 이 일정은 수요를 더 고르게 유도할 수 있지만, 회사는 피크 요금을 지불하는 고객에게 특정 지연 시간, 가동 시간 수준 또는 처리 우선순위를 약속하지 않았다.
이 차이는 프로덕션 구매자에게 중요하다. 혼잡한 시간대의 더 높은 요금은 공개된 규칙이 토큰 요금만 바꾸는 경우에도 프리미엄 서비스에 대한 대가처럼 느껴질 수 있다. 계약이나 서비스 문서에 명시적으로 제공되지 않는 한 팀은 우선 액세스를 가정해서는 안 된다.
비피크 사용자는 반대의 위험에 직면한다. 많은 고객이 더 낮은 요금 시간대가 시작되는 바로 그 순간에 가장 큰 작업을 예약할 수 있다. 수요를 완화하는 대신, 이러한 행동은 각 시간대의 경계에서 새로운 급격한 혼잡을 만들 수 있다.
대기열 설계는 그 위험을 줄일 수 있다. 팀은 시작 시간을 무작위화하고, 작업을 일정 구간에 분산하거나, 내부 동시성 제한을 둘 수 있다. 이러한 조치는 고객 애플리케이션을 보호하지만 DeepSeek의 실제 용량을 공개하지는 않는다.
고정 일정은 시계 관리 문제도 만든다. 애플리케이션에는 정확한 달력 날짜를 포함한 베이징 시간으로의 신뢰할 수 있는 변환이 필요하다. 베이징은 계절적 시계 변경을 사용하지 않지만, 북미와 유럽의 많은 지역은 이를 사용한다.
고정된 현지 시간 변환을 중심으로 구축한 스케줄러는 일광절약시간제가 시작되거나 끝날 때 어긋날 수 있다. 더 안전한 접근법은 타임스탬프를 협정 세계시로 저장하고 현재 베이징 시간대를 프로그래밍 방식으로 계산하는 것이다. 청구 검토에도 동일한 변환 로직을 사용해야 한다.
경계 근처의 요청은 특별히 다뤄야 한다. 장시간 실행되는 요청은 피크 시간대 전에 시작해 피크 시간대가 시작된 뒤에 끝날 수 있다. DeepSeek의 공개 가격 페이지는 시간대를 설명하지만, 이러한 경계 사례에서 어떤 타임스탬프가 기준이 되는지는 명확히 설명하지 않는다.
요청 시작 시각, 토큰 처리 시각 또는 완료 시각에 따라 결과가 달라질 수 있다. 스트리밍 응답은 출력이 일정 시간 동안 도착하므로 이 구분을 더 중요하게 만든다. 경계 시간대 트래픽 규모가 큰 개발자는 설명을 요청하고 첫 청구서를 확인해야 한다.
재시도는 또 다른 불확실성을 도입한다. 요청이 비피크 시간대에 실패하고 피크 시간대가 시작된 뒤 성공하면, 최종 요금이 애플리케이션의 원래 예상과 다를 수 있다. 그 영향은 실패 및 재시도된 토큰이 DeepSeek의 회계 처리에 어떻게 반영되는지에 달려 있다.
제공업체 비교에도 주의가 필요하다. 토큰 요금을 직접 비교하면 각 모델이 동일한 작업에 대해 생성하는 토큰 수를 간과할 수 있다. 또한 캐시 보존, 프롬프트 형식, 추론 오버헤드, 결과 수정 필요 여부를 결정하는 품질 기준도 무시할 수 있다.
벤치마크 점수만으로는 이 문제를 결론내릴 수 없다. 코딩 모델은 공개 테스트에서 좋은 성과를 내면서도 회사의 리포지토리 규약에는 어려움을 겪을 수 있다. 추론 모델은 정확하게 답하면서도 너무 많은 시간을 소비하거나 불필요하게 긴 출력을 만들 수 있다.
팀에는 완료된 작업당 성공을 측정하는 애플리케이션별 평가가 필요하다. 유용한 테스트 세트에는 일반 요청, 어려운 엣지 케이스, 도구 실패, 긴 컨텍스트, 캐싱을 시험하는 반복 프롬프트가 포함되어야 한다.
8월 변경은 최근 업데이트된 DeepSeek 모델 라인업과 함께 적용된다. 새로운 가격을 평가하는 고객은 동시에 모델 동작도 평가할 수 있으므로, 가격만의 효과를 분리하기 어려워진다. 총지출 변화는 요금, 사용량 증가, 출력 길이 또는 완료 품질을 반영할 수 있다.
커뮤니티 반응은 조기 경고 신호를 제공하지만 신뢰할 수 있는 비용 추정치는 아니다. 사용자들은 캐시 사용량이 많은 워크로드의 상당한 인상을 지적하고 DeepSeek의 경쟁력 유지 여부를 논의했다. 이러한 계산은 개별 트래픽 패턴에 따라 달라지므로, 측정된 프로덕션 데이터를 대체해서는 안 된다.
따라서 가장 강한 회의적 결론은 제한적이다. DeepSeek은 일부 유연한 수요를 이동시킬 유인을 만들었다. 하지만 얼마나 많은 트래픽이 이동할지, 안정성이 개선될지, 고객이 그에 따른 복잡성을 어떻게 평가할지는 아직 보여주지 못했다.
새 요금 적용 후 지켜볼 세 가지 신호
첫 달은 시간 기반 추론이 지속 가능한 운영 모델이 될지, 또 하나의 가격 실험에 그칠지를 보여줄 것이다.
첫 번째 신호는 시간대 경계에서의 DeepSeek 서비스 성능이다. 개발자는 매일 각 전환 전후의 지연 시간, 오류율, 대기열 시간 및 처리량을 추적해야 한다. 피크 시간대에 의미 있는 개선이 나타난다면 회사의 리소스 배분 주장을 뒷받침할 것이다.
반대의 결과는 이를 약화시킬 것이다. 고객이 피크 요금을 지불하는 동안 지연 시간과 가용성이 그대로이거나 악화된다면, 이 정책은 서비스 관리 도구라기보다 매출 조정으로 보일 것이다. 공개 상태 데이터와 고객 텔레메트리는 광범위한 주장보다 더 중요해질 것이다.
두 번째 신호는 실제로 얼마나 많은 워크로드가 이동하는지다. 팀은 8월 17일 전후로 피크 및 비피크 시간대에 처리된 토큰 비중을 비교해야 한다. 또한 지연된 작업이 피크 시간대 종료 직후 새로운 급증을 만드는지도 측정해야 한다.
비피크 실행으로의 광범위한 이동은 DeepSeek의 메커니즘을 강화할 것이다. 이는 개발자가 추론 타이밍을 조정 가능한 인프라 변수로 다룰 수 있음을 보여줄 것이다. 이동이 거의 없다면 대부분의 가치 있는 워크로드가 일정을 변경하기에는 지연 시간에 너무 민감하다는 뜻일 수 있다.
세 번째 신호는 경쟁 대응이다. 중국 모델 제공업체들은 더 낮은 요금, 사용량 번들, 예약 용량, 더 강한 서비스 보장 또는 더 쉬운 멀티모델 라우팅으로 대응할 수 있다. 해외 제공업체들은 고정된 지역 시간대 없이도 예측 가능한 가격 책정이나 유연한 추론 제품을 강조할 수 있다.
DeepSeek의 일정을 직접 복제한다면 시간대별 가격 책정이 새로운 경쟁 차원으로 자리 잡았음을 확인하게 될 것이다. 예약 처리량이나 월간 번들로 이동한다면, 구매자가 한산한 시간을 노리는 대신 예측 가능성에 비용을 지불하는 다른 방향을 가리킬 것이다.
개발자는 성급한 마이그레이션 대신 통제된 청구 감사를 시작해야 한다. 모델, 타임스탬프, 캐시, 토큰, 지연 시간 및 작업 성공 데이터의 대표적인 1주를 기록하라. 새 일정에 따라 해당 워크로드를 다시 계산한 뒤, 사용자에게 피해를 주지 않고 이동할 수 있는 작업을 식별하라.
다음으로 소규모 비피크 대기열을 시험하라. 재시도 제한, 무작위 시작 시간, 마감 시한 처리 및 긴급 작업을 위한 대체 경로를 포함하라. 하나의 토큰 범주에 표시된 요금만이 아니라, 성공한 작업당 전체 비용을 비교하라.
마지막으로 제공업체 중립적인 평가 세트를 준비해 두어야 한다. DeepSeek의 8월 17일 정책은 워크로드 아키텍처를 구매 결정의 일부로 만든다. 중요한 질문은 더 낮은 요금을 내세우는 모델이 무엇인지가 아니다. 모델, 타이밍, 안정성 및 엔지니어링 노력 중 어떤 조합이 가장 낮은 총비용으로 신뢰할 수 있는 결과를 만드는가이다.
