기업 AI 비용이 무제한 사용의 꿈을 깨뜨리자 Simon Willison이 포착한 토큰 대재앙

Simon Willison은 8월 7일 기업 AI의 한 단면을 잘 보여주는 갈등을 조명했다. 직원들이 이미 더 단순한 소프트웨어로 처리할 수 있는 작업을 하면서 값비싼 토큰을 소모할 수 있다는 것이다. 사례는 PDF를 이미지, markdown 파일, 프레젠테이션 자료로 변환하는 작업과 관련됐다. 사소하게 들리지만, 심각한 예산 문제를 드러낸다.

404 Media가 입수한 오디오에 따르면, Accenture 경영진은 빠르게 증가하는 토큰 소비와 그 사용량을 비즈니스 가치에 연결하기 어려운 문제를 논의했다. 한 임원은 PDF 변환이 주요 “토큰 소모처”라고 농담한 것으로 전해진다. 이 대화는 직원들의 AI 활용을 장려하는 일과 그 비용을 통제하는 일 사이의 간극을 포착했다.

이제 압박은 Accenture를 넘어 확산되고 있다. 기업들은 Claude, ChatGPT, Copilot, Codex, AI 에이전트를 폭넓게 활용할 수 있는 생산성 시스템으로 도입했다. 하지만 무제한 실험은 자연스러운 상한선이 없는 변동 운영비를 만든다는 사실을 발견하고 있다. 새로운 경쟁 구도는 AI 도입과 거부의 대결이 아니다. 최대 사용량과 측정 가능한 가치의 대결이다.

Simon Willison이 찾아낸 완벽한 토큰 낭비 사례

평범한 PDF 작업이 기업 AI 지출이 어떻게 재무 통제를 벗어나는지 보여주는 유난히 명확한 사례가 됐다.

Willison의 PDF 경고는 404 Media가 6월 24일 공개한 조사 보도의 일화를 주목하게 했다. 해당 매체는 AI 소비 증가에 관한 Accenture 내부 논의 오디오를 입수했다고 밝혔다.

Accenture의 에이전틱 AI 전략 책임자인 Justice Kwak은 엔지니어들이 일부 비용이 큰 사용 패턴의 주된 원인은 아니었다고 말한 것으로 전해진다. 논의 대상이 된 행동 상당수는 비엔지니어들이 담당했다.

이어 Accenture 고객 그룹 책임자인 Stuart Henderson은 Kwak이 PDF를 이미지로 변환한 뒤 그 이미지를 markdown으로 바꾼 적이 있는지 물었다. Henderson은 이 과정을 주요 토큰 소모 작업이라고 불렀다고 전해진다.

이 대화가 웃음을 자아내는 이유는 일상적인 문서 문제에 지나치게 복잡한 해결책을 설명하기 때문이다. 그러나 중요한 이유는 그 해결책이 모든 단계에서 작업량을 증폭시킬 수 있기 때문이다.

PDF에는 선택 가능한 텍스트, 페이지 이미지, 차트, 표, 머리글, 레이아웃 지침이 포함될 수 있다. AI 워크플로는 각 페이지를 추출하고, 이미지를 검사하며, 텍스트를 재구성하고, 레이아웃을 해석한 뒤 새로운 형식을 생성할 수 있다. 모델 요청이 추가될 때마다 입력 및 출력 토큰도 늘어난다.

에이전트가 실패한 추출을 반복하거나 자체 답변을 검토하거나 다른 모델을 호출하면 소비량은 다시 증가한다. 작업자는 완성도 높은 슬라이드 덱만 보게 될 수 있다. 기업은 계량되는 추론 요청의 연쇄를 보게 된다.

토큰은 생성형 모델이 처리하는 작은 데이터 단위다. 텍스트의 일부를 나타내며, 시스템에 따라 이미지나 다른 미디어에서 파생된 정보도 포함한다. 조직은 흔히 모델이 읽고 생성하는 토큰 수에 따라 비용을 지불한다.

이 계량 모델은 기존 오피스 소프트웨어 라이선스와 다르다. 워드 프로세서에서 문서를 하나 더 여는 일은 대체로 새로운 사용료를 발생시키지 않는다. AI 에이전트에게 그 문서를 해석해 달라고 요청하면 여러 유료 작업이 실행될 수 있다.

직원이 이 과정을 이해할 필요는 없다. 최신 AI 인터페이스는 의도적으로 그 상당 부분을 감춘다. “이 보고서를 슬라이드로 바꿔줘” 같은 요청은 추출, 계획 수립, 요약, 서식 지정, 수정, 검증을 시작할 수 있다.

그 결과 가시성 문제가 발생한다. 직원들은 편의성과 결과물 품질로 워크플로를 평가한다. 기술 리더들은 비용, 정확성, 보안, 그리고 그 결과물을 만들 가치가 있었는지로 평가해야 한다.

원문 조사 보도는 Accenture의 경험을 더 광범위한 지출 조정의 일부로 규정했다. 기업들은 직원들에게 AI 실험을 장려해 왔다. 일부 기업은 이제 소비량이 예측 불가능해지면서 통제를 고려하고 있었다.

Accenture는 비공개 회의에 관한 모든 세부 사항을 공개적으로 인증하지는 않았다. 따라서 유출 오디오에 관한 설명은 404 Media의 보도로 명확히 귀속돼야 한다. 다만, 이후 회사의 조치는 토큰 관리가 공식적인 기업 과제가 됐다는 더 넓은 결론을 뒷받침한다.

7월 29일, Accenture는 소비량을 팀, 워크플로, 제품, 의사결정, 비즈니스 성과와 연결하도록 설계된 tokenomics 서비스를 발표했다. 이 시점은 PDF 일화를 단순한 사무실 코미디 이상으로 만들었다. 내부 비용 문제가 얼마나 빠르게 컨설팅 분야로 바뀔 수 있는지를 보여줬다.

토큰 가격 하락이 총비용을 낮추지는 않는다

사용량이 단가 하락보다 더 빠르게 늘어나면 AI는 더 비싸진다.

초기 기업용 제안은 생성형 AI를 또 하나의 소프트웨어 도입처럼 다뤘다. 기업은 접근 권한을 구매하고, 직원을 교육하며, 조직 전반에 사용을 확산한다. 더 많은 도입은 더 높은 생산성을 뜻하는 듯했다.

에이전틱 AI는 그 계산을 바꾼다. 에이전틱 워크플로는 제한된 인간 지시 아래 단계를 계획하고, 도구를 호출하며, 작업을 수정하는 시스템이다. 직원 한 명의 요청이 수십 번의 모델 상호작용으로 이어질 수 있다.

Gartner는 초대형 언어 모델의 추론이 2030년까지 훨씬 더 효율적이 될 것으로 예상한다. 그러나 추론 전망에는 중요한 경고가 담겨 있다. 공급업체 비용 하락이 기업 고객에게 반드시 전부 전가되지는 않는다는 것이다.

Gartner는 에이전틱 모델이 표준 챗봇보다 작업당 5배에서 30배 더 많은 토큰을 필요로 한다고도 추정한다. 더 유능한 시스템은 더 많은 행동을 수행하고, 더 긴 컨텍스트를 사용하며, 더 많은 수요를 만들어낼 수 있다.

여기서 핵심적인 역전이 발생한다. 더 저렴해진 지능은 기업이 더 많은 업무에 AI를 적용하도록 부추긴다. 그러면 각 워크플로는 하나의 응답에서 검색, 도구 호출, 평가, 수정으로 이어지는 과정으로 확장된다.

같은 패턴은 클라우드 컴퓨팅에서도 나타났다. 개별 컴퓨팅 또는 스토리지 단위의 가격 하락이 기업 청구액 감소를 보장하지는 않았다. 접근이 쉬워지면서 팀들은 더 많은 서비스를 배포하고, 더 많은 데이터를 보관하며, 더 많은 활동을 자동화했다.

AI는 소비가 비결정적일 수 있다는 점에서 또 다른 복잡성을 더한다. 동일한 작업이 항상 같은 경로를 따르지는 않는다. 어떤 에이전트는 세 단계 만에 끝내는 반면, 다른 에이전트는 도구를 재시도하거나 여러 대안을 탐색할 수 있다.

McKinsey는 동일한 에이전틱 코딩 작업에서도 토큰 사용량이 최대 30배까지 달라질 수 있다고 말한다. 기업 지출 분석은 클라우드 공급업체, 모델 벤더, 소프트웨어 플랫폼, 실험, 사업부에 흩어진 AI 비용도 설명한다.

이러한 분산은 탐지를 지연시킨다. 기업은 합산 효과를 보지 못한 채 각각 합리적으로 보이는 여러 구매를 승인할 수 있다. 비용 초과는 토큰이 이미 소비된 뒤에야 가시화된다.

청구서는 토큰에만 국한되지 않는다. 기업은 데이터 파이프라인, 검색 인프라, 평가, 보안 검토, 모니터링, 신뢰할 수 없는 결과물을 감독하는 직원에게도 비용을 지불한다. 저렴한 모델 응답도 비싼 워크플로 안에 들어갈 수 있다.

긴 컨텍스트 윈도는 문제를 더 어렵게 만든다. 컨텍스트 윈도는 모델이 한 번의 상호작용 동안 받는 정보다. 전체 문서, 긴 채팅 기록, 도구 설명, 반복되는 참고 자료를 전송하면 모델이 어떤 결과를 생성하기도 전에 소비량이 늘어난다.

문서 작업은 이를 명확히 보여준다. 시스템은 추출, 분석, 초안 작성, 수정 과정에서 동일한 보고서를 재전송할 수 있다. 캐싱이나 신중한 컨텍스트 선택이 없으면 모든 단계가 중복 정보를 처리한다.

이것이 Simon Willison의 사례가 PDF를 넘어 중요한 이유다. 이는 AI 토큰 비용에 관한 추상적 논의를 누구나 알아볼 수 있는 워크플로로 바꾼다. 사용자는 하나의 결과를 요청하지만, 인프라는 훨씬 더 많은 작업을 수행한다.

기업은 모델 벤더의 청구서만 지켜봐서는 이 문제를 해결할 수 없다. 소비 단위마다 그 배경에 있는 팀, 작업, 모델, 에이전트, 비즈니스 결과를 식별해야 한다.

이 요건은 AI 비용 관리를 운영 규율로 만든다. 이는 연간 소프트웨어 갱신 회의가 아니라 보안, 신뢰성, 데이터 거버넌스와 나란히 다뤄져야 한다.

압박을 받는 사람들은 엔지니어만이 아니다

이제 기업 AI 예산은 수천 명의 직원이 일상적인 프롬프트를 통해 내리는 기술 비용 결정에 달려 있다.

엔지니어들은 모델 호출이 리소스를 소비한다는 점을 이해한다. 로그를 검사하고, 프롬프트를 줄이며, 반복 콘텐츠를 캐싱하고, 더 작은 모델을 선택할 수 있다. 대부분의 지식 근로자는 그런 선택을 해야 할 것으로 예상된 적이 없다.

그들이 보는 것은 익숙한 사무 업무에 연결된 채팅창이다. 인터페이스는 자연어, 반복, 실험을 장려한다. 문장 하나를 다시 쓰는 것과 스캔한 문서 모음을 분석하는 것의 비용 차이는 거의 설명하지 않는다.

이 설계는 새로운 종류의 그림자 지출을 만든다. 직원들은 결제 정보를 입력하거나 클라우드 인프라를 배포할 필요가 없다. 더 강력한 모델을 선택하거나 요청을 반복하는 것만으로도 기업의 소비량을 늘릴 수 있다.

Accenture 일화는 비엔지니어들이 문서 변환과 프레젠테이션 작업을 통해 상당한 사용량을 유발할 수 있음을 시사한다. 그렇다고 그 직원들이 무책임한 것은 아니다. 고용주는 AI를 사용하라고 했고, 벤더는 사용을 손쉽게 만드는 제품을 설계했다.

갈등은 기업이 방향을 바꿀 때 시작된다. 직원들은 처음에는 AI 활용 능력이 필수적이라는 말을 듣는다. 이후 토큰 한도, 모델 제한, 불필요한 요청에 관한 경고를 받는다.

이는 잘못된 행동을 낳을 수 있다. 규칙이 명확하지 않으면 직원들은 가치 있는 워크플로를 피할 수 있다. 다른 이들은 “가치 있다”는 것이 무엇인지 아무도 정의하지 않았기 때문에 계속 비싼 모델을 사용할 수 있다.

더 나은 정책은 예상되는 결과에 따라 작업을 구분한다. 일상적인 이메일 초안 작성에 복잡한 엔지니어링 제안서를 검토할 때와 같은 모델이 필요한 것은 아니다. PDF에서 선택 가능한 텍스트를 추출하는 작업도 항상 시각적 추론을 필요로 하지는 않는다.

모델 라우팅은 이 구분을 자동으로 수행할 수 있다. 라우팅 시스템은 단순한 요청을 더 작고 비용이 낮은 모델로 보내고, 어려운 작업에는 고급 시스템을 남겨 둔다. 기존 소프트웨어가 더 잘 처리하는 요청을 거부할 수도 있다.

Associated Press는 tokenmaxxing이 인기를 잃으면서 기업들이 이러한 라우팅을 점점 더 검토하고 있다고 보도했다. 업무 현장 비용 보도는 기업들이 AI 사용의 수익을 검토하고, 일상 업무에는 고급 모델 사용을 자제시키는 상황을 설명했다.

라우팅에도 여전히 판단이 필요하다. 짧은 프롬프트에는 고위험 작업이 숨겨져 있을 수 있고, 긴 문서는 기본적인 추출만 필요할 수 있다. 기업에는 민감도, 복잡성, 정확성 요건, 기대 가치에 기반한 정책이 필요하다.

조달 팀도 압박을 받는다. 이들은 구독, 사용량 계약, 클라우드 서비스, 활동을 서로 다르게 계량하는 내장 AI 기능을 비교해야 한다. 예측 가능한 좌석 라이선스에도 사용량 한도나 제한이 포함될 수 있다.

CIO는 기술적 문제를 떠안지만, CFO는 그 지출이 지속적인 지원을 받을 가치가 있는지 결정한다. 사업부 리더들은 도구가 무엇을 생산하는지 설명해야 한다. 보안 팀은 직원들이 외부 모델에 어떤 정보를 보내는지 추적해야 한다.

그러한 공동 책임은 새로운 개념이다. 전통적인 소프트웨어 예산 편성은 라이선스를 부서에 배정하는 경우가 많다. 엔터프라이즈 AI는 조직이 각 워크플로를 사용량과 결과 모두에 연결하도록 요구한다.

그 결과는 “직원들이 AI를 더 많이 사용했다”일 수 없다. 더 빠른 해결, 더 적은 결함, 추가 수익, 반복 업무 감소처럼 조직이 가치를 두는 것을 설명해야 한다.

지식 노동자에게도 대안이 필요하다. 정보가 이미 로컬에 존재한다면 검색 가능한 지식 기반은 반복적인 문서 업로드를 줄일 수 있다. 더 나은 검색은 전체 파일 대신 관련 있는 구절만 전송할 수 있다.

따라서 이러한 변화는 지출 정책만큼이나 워크플로 설계에도 영향을 미친다. 단순히 토큰 한도를 부과하는 기업은 사용량을 줄일 것이다. 하지만 어떤 업무를 계속해야 하는지는 반드시 파악하지 못한다.

최대 AI 사용량이 측정 가능한 가치와 충돌하고 있다

활동이 생산성의 증거를 대체하기 시작하면 무제한 사용의 꿈은 실패한다.

지난 몇 년간 경영진은 직원들이 AI를 충분히 빠르게 도입하지 않는다고 우려했다. 기업들은 파일럿 프로젝트에 자금을 지원하고, 어시스턴트를 배포하며, 교육 프로그램을 만들고, 팀이 활용 사례를 찾도록 장려했다.

도입이 병목이었을 때 이 전략은 타당했다. 생성형 AI가 어디에서 효과를 발휘할지 아는 조직은 거의 없었다. 폭넓은 실험은 유용한 패턴을 드러내는 데 도움이 됐다.

병목은 이동했다. 수천 명의 직원이 고급 모델을 호출할 수 있게 되면 실험은 반복적인 운영 비용이 된다. 질문은 “사람들이 AI를 사용하고 있는가?”에서 “어떤 사용 사례가 확장할 가치가 있는가?”로 바뀐다.

Accenture의 대응은 이 전환을 명시적으로 보여 준다. 이 회사의 tokenomics 프로그램은 실시간 모니터링, 책임성, 모델 매칭, 거래당 비용을 내세운다.

이 회사는 사용량 파악, 비효율적 설계 개선, 워크로드 변화에 따른 통제 유지라는 3단계 접근법을 설명한다. 이 구조는 클라우드 재무 운영과 유사하지만, AI는 작업 품질과 에이전트 행동을 둘러싼 불확실성을 더 많이 수반한다.

따라서 주된 대립 구도는 Accenture와 모델 공급업체 간의 경쟁이 아니다. 마찰 없는 AI 풍요라는 약속과 책임 있는 엔터프라이즈 지출이라는 현실의 충돌이다.

최대 사용량은 눈에 띄는 흥분을 만들어 낸다. 프롬프트 수, 생성된 문서, 에이전트 실행, 도입 현황 대시보드를 만든다. 하지만 이 지표들 중 어느 것도 조직이 그에 상응하는 가치를 얻었음을 확인해 주지는 않는다.

측정 가능한 가치는 더디고 덜 화려하다. 기준선과의 비교가 필요하다. 팀은 AI 도입 전 업무에 얼마나 시간이 걸렸는지, 품질이 변했는지, 사람의 검토가 얼마나 여전히 필요한지 물어야 한다.

PDF 변환은 다시 적절한 시험대가 된다. AI 워크플로가 보고서를 슬라이드로 바꾼다면, 기업은 이를 기존의 추출 및 프레젠테이션 도구와 비교해야 한다. 수정 시간, 사실 오류, 서식 수정, 검토도 포함해야 한다.

AI 경로가 여전히 승리할 수 있다. 모델은 불규칙한 보고서를 해석하고, 주제를 식별하며, 경직된 소프트웨어보다 더 빠르게 유용한 서사를 초안으로 작성할 수 있다. 요점은 AI가 PDF를 절대 다뤄서는 안 된다는 것이 아니다.

요점은 모델 사용이 그 가치를 입증해야 한다는 것이다. 더 많은 자원을 소비하는 에이전트도 더 가치 있는 업무를 완료한다면 충분히 가치 있을 수 있다. 아무도 결과물을 필요로 하지 않는다면 저렴한 워크플로도 여전히 낭비다.

이 구분은 모델 공급업체에도 도전이 된다. 고객이 더 긴 컨텍스트를 보내고, 더 많은 추론을 수행하며, 더 많은 단계를 위임할수록 이들의 제품은 이익을 얻는다. 엔터프라이즈 구매자는 그러한 단계가 결과를 개선할 때만 이익을 얻는다.

공급업체들은 캐싱, 배치 처리, 소형 모델, 라우팅 기능을 추가하고 있다. 이러한 도구는 낭비를 줄이지만, 인센티브 불일치를 해결하지는 못한다. 공급업체는 여전히 사용량이나 더 폭넓은 도입으로 수익을 얻는다.

기업에는 자체 측정 계층이 필요하다. 여기에는 요청, 모델 선택, 토큰 규모, 지연 시간, 실패율, 인간 개입, 관련 비즈니스 프로세스가 기록돼야 한다.

중단 규칙도 필요하다. 에이전트는 할 수 있다는 이유만으로 저가치 문서를 계속 수정해서는 안 된다. 예산, 단계 제한, 신뢰도 임계값, 승인 게이트는 끝없이 이어지는 작업을 제약할 수 있다.

동일한 규율은 개인 AI 워크플로에도 적용된다. 같은 출처를 반복적으로 업로드하면 시간과 컨텍스트가 낭비된다. 지식 블렌딩을 지원하는 시스템은 매 요청마다 전체 컨텍스트를 다시 구축하지 않고도 선택된 정보를 검색할 수 있다.

Simon Willison은 한동안 언어 모델의 한계, 비용, 보안 영향을 포함한 실질적인 작동 방식에 주목해 왔다. 그의 PDF 관찰은 이러한 접근과 맞닿아 있다. 드러나는 세부 사항은 거창한 모델 발표가 아니라 일상적인 구현 선택에서 나타나는 경우가 많다.

토큰 통제는 자체적인 실패를 만들 수 있다

무차별적인 지출 단속은 유용한 실험을 파괴하는 동시에 가장 눈에 띄지 않는 형태의 낭비는 그대로 남길 수 있다.

비용 통제의 근거는 강하지만, 이용 가능한 증거는 비기술 직군이 엔터프라이즈 AI 과지출의 중심 원인이라는 점을 입증하지 않는다. Accenture의 발언은 공개된 사용량 감사가 아니라 보도된 비공개 논의에서 나왔다.

기억에 남는 PDF 이야기는 관심을 왜곡할 수 있다. 문서 변환은 워크플로가 과도하게 들리기 때문에 조롱하기 쉽다. 비용이 많이 드는 엔지니어링 에이전트도 대규모 컨텍스트를 소비하고, 테스트를 실행하고, 리포지토리를 검사하며, 실패한 변경을 재시도할 수 있다.

그러한 엔지니어링 작업은 더 큰 가치를 낼 수 있지만, 기업은 여전히 증거가 필요하다. 기술적이라는 꼬리표가 사용량을 효율적으로 만들지는 않는다. 마찬가지로 비기술적 요청도 중요한 법무, 영업 또는 연구 업무를 지원할 수 있다.

조직은 토큰 관리를 직원 감시로 바꾸는 일을 피해야 한다. 프롬프트 로그에는 기밀 업무, 인사 정보, 고객 기록, 초기 아이디어가 포함될 수 있다. 세부적인 모니터링은 보안 및 개인정보 보호 의무를 만든다.

비용 배분은 협업을 위축시킬 수도 있다. 각 부서가 엄격한 토큰 예산을 받으면 팀은 실험을 숨기거나 중앙 대시보드 밖에 남아 있는 도구로 지출을 옮길 수 있다.

강한 제한은 또 다른 위험을 만든다. 에이전트가 가치 있는 작업을 완료하기 전에 멈춰, 직원에게 여전히 수동 복구가 필요한 불완전한 작업만 남길 수 있다. 조직은 토큰을 절약하지만 기대했던 이익을 잃는다.

저가 모델 라우팅은 품질을 낮추면서 지출을 줄일 수 있다. 소형 모델은 문서 세부 사항을 놓치거나, 도구 지시를 잘못 처리하거나, 그럴듯한 오류를 생성할 수 있다. 반복적인 수정이 필요한 워크플로는 전체적으로 더 많은 비용이 들 수 있다.

EY는 토큰이 에이전트 경제성에서 가장 눈에 띄는 부분일 뿐이라고 주장한다. EY의 에이전트 비용 분석은 인프라, 거버넌스, 조직 변화, 실패 복구, 규제 노출을 포함한다.

이러한 더 넓은 관점은 로컬 최적화가 비용을 다른 곳으로 옮길 수 있기 때문에 중요하다. 모델 사용량을 줄이면 직원 검토 시간이 늘어날 수 있다. 평가 실행을 줄이면 비용이 큰 오류가 프로덕션에 유입될 수 있다.

기업은 낮은 토큰 총량을 축하하는 대신 전체 워크플로 비용을 측정해야 한다. 또한 어떤 개입 전후로 품질, 속도, 위험을 비교해야 한다.

이 지점에서 “tokenpocalypse”라는 표현은 오해를 부를 수 있다. 문제는 토큰이 갑자기 어디서나 감당할 수 없을 만큼 비싸졌다는 것이 아니다. 급격한 도입이 취약한 측정 체계와 불분명한 책임 소재를 드러냈다는 점이다.

일부 조직은 AI 프로그램이 여전히 경제적으로 매력적이라는 사실을 발견할 것이다. 다른 조직은 직원들이 전략적 가치가 거의 없는 업무를 자동화했다는 사실을 알게 될 것이다. 대부분은 같은 회사 내부에서 두 패턴을 모두 발견할 것이다.

단위 비용은 계속 하락하고 모델은 계속 개선될 것이다. 이러한 추세는 영구적인 지출 장벽이라는 예측을 약화시킨다. 동시에 낮은 비용이 더 큰 사용량을 부르기 때문에 거버넌스의 필요성은 강화한다.

따라서 회의적인 결론은 더 제한적이다. 기업이 반드시 AI를 포기하고 있는 것은 아니다. 이들은 도입 목표에서 배분 결정으로 이동하고 있으며, 그러한 결정은 여전히 평가하기 어렵다.

향후 세 가지 신호가 tokenomics의 작동 여부를 보여 줄 것이다

다음 단계는 워크플로 수준의 수익, 자동 모델 라우팅, 엔터프라이즈 구매 행동의 변화로 평가될 것이다.

첫 번째 신호는 기업들이 총 토큰 감소 대신 완료된 비즈니스 프로세스당 비용을 보고하는지 여부다. 유용한 지표는 해결된 지원 사례 1건, 검토된 계약 1건, 완료된 소프트웨어 변경 1건 또는 완료된 연구 과제 1건을 추적할 수 있다.

이는 지출을 산출물과 연결하기 때문에 tokenomics 주장을 강화할 것이다. 기업이 낮아진 사용량만 공개한다면 생산성을 높이지 않은 채 사용을 억제하고 있을 수 있다.

Accenture가 자체 서비스를 어떻게 발전시키는지 지켜볼 필요가 있다. 이 접근법은 워크플로, 담당자, 모델, 에이전트 전반에 대한 가시성을 약속한다. 반복 가능한 고객 성과의 증거는 404 Media가 포착한 내부 우려가 실행 가능한 관리 규율이 됐음을 보여 줄 것이다.

두 번째 신호는 광범위한 자동 라우팅이다. 현재 직원들은 제품 메뉴나 기본 설정을 통해 많은 모델 선택을 한다. 이는 이를 평가할 정보가 부족한 사용자 앞에 기술적 비용 결정을 놓는 방식이다.

효과적인 라우팅은 이를 필요로 하는 작업에만 고급 추론을 배정할 것이다. 단순 추출, 분류, 재작성 작업은 소형 시스템이나 기존 소프트웨어로 보낼 것이다.

핵심 척도는 라우팅 빈도가 아니다. 품질을 유지하면서 전체 워크플로 비용을 낮추는지 여부다. 높은 수정률은 공격적인 모델 하향 조정의 근거를 약화시킬 것이다.

세 번째 신호는 엔터프라이즈 구매의 변화다. 구매자는 공유 사용량 풀, 상세한 텔레메트리, 집행 가능한 예산, 캐싱 제어, 결과와 더 밀접하게 연계된 계약을 요구할 수 있다.

또한 전체 문서를 프런티어 모델에 반복해서 보내지 않고 로컬 정보를 처리하는 제품을 선호할 수 있다. 이는 최대 토큰 처리량보다 효율적인 컨텍스트 관리를 보상하게 될 것이다.

공급업체가 더 명확한 통제와 예측 가능한 사용량으로 대응한다면, 현재의 반발은 정상적인 성숙 과정으로 보일 것이다. 엔터프라이즈 AI는 더 엄격한 재무 규칙 아래 계속 확장될 것이다.

비용이 계속 불투명하다면 기업은 더 광범위한 제한을 부과할 것이다. 그 결과는 실험을 늦추고 더 작은 오픈 웨이트 모델이나 로컬에서 운영되는 모델에 대한 수요를 늘릴 것이다.

Simon Willison의 관찰은 독자에게 모든 AI 워크플로를 평가할 실용적인 질문을 제시한다. 모델은 실제로 어떤 작업을 수행하고 있으며, 그 작업에는 왜 이 모델이 필요한가?

에이전트에 또 다른 대용량 문서를 보내기 전에 이 질문을 적용하라. 텍스트 추출, 검색, 로컬 처리 또는 소형 모델이 첫 단계를 완료할 수 있는지 확인하라. 판단이 필요한 부분에는 비용이 높은 추론을 남겨 두라.

tokenpocalypse는 엔터프라이즈 AI의 끝이 아니다. 생성된 모든 결과물을 진전의 증거로 취급하던 시대의 끝이다. 결과를 측정하고, 컨텍스트를 통제하며, 작업을 의도적으로 라우팅하는 기업은 계속 실험할 것이다. 도입만 세는 기업은 이후에도 계속 청구서를 마주하게 될 것이다.