Simon Willison dostrzega tokenpokalipsę, gdy koszty AI w przedsiębiorstwach burzą marzenie o nielimitowanym użyciu

Simon Willison zwrócił 7 sierpnia uwagę na wymowny konflikt związany z AI w przedsiębiorstwach: pracownicy mogą zużywać kosztowne tokeny, wykonując pracę, z którą radzi sobie już prostsze oprogramowanie. Przykład dotyczył przekształcania PDF-ów w obrazy, pliki markdown i materiały prezentacyjne. Brzmi banalnie, lecz ujawnia poważny problem budżetowy.

Według nagrania audio pozyskanego przez 404 Media liderzy Accenture rozmawiali o szybko rosnącym zużyciu tokenów i trudnościach z powiązaniem go z wartością biznesową. Jeden z dyrektorów miał zażartować, że konwersja PDF-ów to duży „pożeracz tokenów”. Ta wymiana zdań uchwyciła rozdźwięk między zachęcaniem pracowników do korzystania z AI a kontrolowaniem kosztów takiej zachęty.

Presja wykracza obecnie poza Accenture. Firmy wdrożyły Claude, ChatGPT, Copilot, Codex i agentów AI jako szeroko użyteczne systemy zwiększające produktywność. Odkrywają, że nieograniczone eksperymentowanie tworzy zmienny koszt operacyjny bez naturalnego pułapu. Nowa rywalizacja nie toczy się między wdrażaniem AI a jej odrzuceniem. Chodzi o maksymalne użycie kontra mierzalna wartość.

Simon Willison znalazł idealną historię o marnowaniu tokenów

Zwykłe zadanie związane z PDF-em stało się wyjątkowo wyraźnym przykładem tego, jak wydatki na AI w przedsiębiorstwach wymykają się kontroli finansowej.

Ostrzeżenie dotyczące PDF-ów Willisona zwróciło uwagę na anegdotę z dochodzenia 404 Media z 24 czerwca. Publikacja podała, że uzyskała nagranie z wewnętrznej dyskusji w Accenture dotyczącej rosnącego wykorzystania AI.

Justice Kwak, lider strategii agentowej AI w Accenture, miał powiedzieć, że inżynierowie nie byli głównymi sprawcami niektórych kosztownych wzorców użycia. Za wiele omawianych zachowań odpowiadali pracownicy nietechniczni.

Stuart Henderson, lider grupy klientów Accenture, zapytał następnie, czy Kwak przekonwertował PDF na obrazy przed przekształceniem tych obrazów w markdown. Henderson miał nazwać ten proces dużym pożeraczem tokenów.

Ta wymiana zdań jest zabawna, ponieważ opisuje złożone rozwiązanie zwyczajnego problemu z dokumentem. Jest istotna, ponieważ takie rozwiązanie może mnożyć pracę na każdym etapie.

PDF może zawierać zaznaczalny tekst, obrazy stron, wykresy, tabele, nagłówki i instrukcje układu. Proces AI może wyodrębnić każdą stronę, przeanalizować obrazy, odtworzyć tekst, zinterpretować układ i stworzyć nowy format. Każde zapytanie do modelu dodaje tokeny wejściowe i wyjściowe.

Jeśli agent powtarza nieudaną ekstrakcję, sprawdza własną odpowiedź lub wywołuje inny model, zużycie ponownie rośnie. Pracownik może widzieć jedynie dopracowaną prezentację slajdów. Firma widzi łańcuch rozliczanych żądań inferencyjnych.

Tokeny to niewielkie jednostki danych przetwarzane przez model generatywny. Reprezentują fragmenty tekstu oraz, zależnie od systemu, informacje pochodzące z obrazów lub innych mediów. Organizacje często płacą według liczby tokenów, które model odczytuje i generuje.

Ten model rozliczeń różni się od tradycyjnej licencji na oprogramowanie biurowe. Otwarcie kolejnego dokumentu w edytorze tekstu zwykle nie powoduje nowej opłaty za użycie. Poproszenie agenta AI o zinterpretowanie tego dokumentu może uruchomić kilka płatnych operacji.

Pracownik nie musi rozumieć tego łańcucha. Nowoczesne interfejsy AI celowo ukrywają znaczną jego część. Prośba taka jak „zamień ten raport w slajdy” może rozpocząć ekstrakcję, planowanie, podsumowywanie, formatowanie, poprawki i walidację.

Rezultatem jest problem widoczności. Pracownicy oceniają proces pracy według wygody i jakości wyników. Liderzy technologiczni muszą oceniać go pod względem kosztu, dokładności, bezpieczeństwa i tego, czy warto było tworzyć wynik.

Oryginalne dochodzenie przedstawiało doświadczenia Accenture jako część szerszej korekty wydatków. Firmy zachęcały pracowników do eksperymentowania z AI. Niektóre rozważały teraz wprowadzenie kontroli, ponieważ zużycie stawało się nieprzewidywalne.

Accenture nie potwierdziło publicznie wszystkich szczegółów przypisywanych prywatnemu spotkaniu. Relacja oparta na wyciekłym nagraniu powinna zatem pozostać wyraźnie przypisana 404 Media. Późniejsze działania firmy wspierają jednak szerszy wniosek, że zarządzanie tokenami stało się formalną kwestią dla przedsiębiorstw.

29 lipca Accenture ogłosiło ofertę tokenomiki zaprojektowaną tak, aby łączyć zużycie z zespołami, procesami pracy, produktami, decyzjami i wynikami biznesowymi. Ten moment sprawił, że anegdota o PDF-ach stała się czymś więcej niż biurową komedią. Pokazała, jak szybko wewnętrzny problem kosztowy może stać się kategorią usług konsultingowych.

Spadające ceny tokenów nie obniżają całkowitego rachunku

AI staje się droższa, gdy wykorzystanie rośnie szybciej, niż spada koszt jednostkowy.

Wczesna oferta dla przedsiębiorstw traktowała generatywną AI jak kolejne wdrożenie oprogramowania. Firma kupowałaby dostęp, szkoliła pracowników i rozszerzała wykorzystanie w całej organizacji. Większa adopcja miała oznaczać większą produktywność.

Agentowa AI zmienia to wyliczenie. Agentowy proces pracy to system, który planuje kroki, wywołuje narzędzia i poprawia swoją pracę przy ograniczonym udziale człowieka. Jedno żądanie pracownika może przekształcić się w dziesiątki interakcji z modelami.

Gartner oczekuje, że inferencja na niezwykle dużych modelach językowych stanie się do 2030 roku znacznie bardziej efektywna. Jednak jego prognoza inferencji zawiera kluczowe ostrzeżenie. Spadek kosztów dostawców niekoniecznie zostanie w pełni przeniesiony na klientów korporacyjnych.

Gartner szacuje również, że modele agentowe wymagają od pięciu do 30 razy więcej tokenów na zadanie niż standardowy chatbot. Bardziej zaawansowane systemy mogą wykonywać więcej działań, korzystać z dłuższych kontekstów i tworzyć większy popyt.

To tworzy kluczowe odwrócenie sytuacji. Tańsza inteligencja zachęca firmy do stosowania AI w większej liczbie zadań. Każdy proces pracy rozszerza się wtedy z jednej odpowiedzi do sekwencji wyszukiwań, wywołań narzędzi, ocen i korekt.

Ten sam wzorzec pojawił się w przetwarzaniu chmurowym. Niższe ceny pojedynczych jednostek obliczeniowych lub pamięci masowej nie gwarantowały niższych rachunków firmowych. Łatwiejszy dostęp zachęcał zespoły do wdrażania większej liczby usług, przechowywania większej ilości danych i automatyzowania większej aktywności.

AI dodaje kolejną komplikację, ponieważ zużycie może być niedeterministyczne. To samo zadanie nie zawsze przebiega tą samą ścieżką. Jeden agent może zakończyć pracę po trzech krokach, podczas gdy inny ponawia wywołania narzędzi lub bada kilka alternatyw.

McKinsey twierdzi, że wykorzystanie tokenów może różnić się nawet 30-krotnie dla tego samego zadania programistycznego wykonywanego przez agenta. Jego analiza wydatków przedsiębiorstw opisuje także koszty AI rozproszone między dostawcami chmury, producentami modeli, platformami programistycznymi, eksperymentami i jednostkami biznesowymi.

To rozproszenie opóźnia wykrycie problemu. Firma może zatwierdzić kilka rozsądnych zakupów, nie dostrzegając ich łącznego efektu. Przekroczenia kosztów stają się widoczne dopiero po zużyciu tokenów.

Rachunek obejmuje również więcej niż tokeny. Firmy płacą za potoki danych, infrastrukturę wyszukiwania, ewaluacje, przeglądy bezpieczeństwa, monitorowanie i pracowników nadzorujących niewiarygodne wyniki. Tania odpowiedź modelu może być częścią kosztownego procesu pracy.

Długie okna kontekstowe utrudniają problem. Okno kontekstowe to informacje, które model otrzymuje podczas jednej interakcji. Przesyłanie całych dokumentów, długich historii czatu, opisów narzędzi i wielokrotnie powtarzanych materiałów referencyjnych zwiększa zużycie, zanim model cokolwiek wygeneruje.

Praca z dokumentami dobrze to ilustruje. System może ponownie wysyłać ten sam raport podczas ekstrakcji, analizy, tworzenia szkicu i poprawek. Bez buforowania lub starannego wyboru kontekstu każdy etap przetwarza nakładające się informacje.

Dlatego przykład Simona Willisona ma znaczenie wykraczające poza PDF-y. Przekształca abstrakcyjną dyskusję o kosztach tokenów AI w rozpoznawalny proces pracy. Użytkownik prosi o jeden wynik, ale infrastruktura wykonuje znacznie więcej pracy.

Firmy nie mogą rozwiązać tego problemu, obserwując wyłącznie fakturę od dostawcy modelu. Muszą zidentyfikować zespół, zadanie, model, agenta i wynik biznesowy stojące za każdą jednostką zużycia.

Ten wymóg sprawia, że zarządzanie kosztami AI staje się dyscypliną operacyjną. Powinno funkcjonować obok bezpieczeństwa, niezawodności i zarządzania danymi, a nie podczas corocznego spotkania dotyczącego odnowienia oprogramowania.

Osoby pod presją to nie tylko inżynierowie

Budżety AI w przedsiębiorstwach zależą teraz od tysięcy pracowników podejmujących techniczne decyzje kosztowe za pomocą zwykłych promptów.

Inżynierowie rozumieją, że wywołanie modelu zużywa zasoby. Mogą analizować logi, skracać prompty, buforować powtarzane treści i wybierać mniejsze modele. Od większości pracowników umysłowych nigdy nie oczekiwano podejmowania takich decyzji.

Widzą okno czatu połączone ze znaną pracą biurową. Interfejs zachęca do używania języka naturalnego, iteracji i eksperymentowania. Rzadko wyjaśnia różnicę kosztów między przepisaniem zdania a analizą zbioru zeskanowanych dokumentów.

Taki projekt tworzy nowy rodzaj ukrytych wydatków. Pracownicy nie muszą wprowadzać danych płatniczych ani wdrażać infrastruktury chmurowej. Mogą zwiększać firmowe zużycie po prostu przez wybranie mocniejszego modelu lub powtarzanie żądania.

Anegdota z Accenture sugeruje, że pracownicy nietechniczni mogą generować znaczne wykorzystanie przez konwersję dokumentów i pracę nad prezentacjami. Nie oznacza to, że ci pracownicy są nieodpowiedzialni. Ich pracodawcy polecili im korzystać z AI, a dostawcy zaprojektowali produkty tak, aby użycie nie wymagało wysiłku.

Konflikt zaczyna się, gdy firmy zmieniają kierunek. Pracownicy najpierw słyszą, że biegłość w AI jest niezbędna. Później otrzymują limity tokenów, ograniczenia modeli lub ostrzeżenia przed niepotrzebnymi żądaniami.

Może to prowadzić do niewłaściwych zachowań. Pracownicy mogą unikać wartościowych procesów pracy, ponieważ zasady są niejasne. Inni mogą nadal używać kosztownych modeli, ponieważ nikt nie zdefiniował, co oznacza „wartościowe”.

Lepsza polityka rozróżnia zadania według oczekiwanego rezultatu. Tworzenie rutynowego e-maila nie wymaga tego samego modelu co analiza złożonej propozycji inżynieryjnej. Wyodrębnianie zaznaczalnego tekstu z PDF-a nie zawsze wymaga rozumowania wizualnego.

Routing modeli może automatycznie wprowadzać to rozróżnienie. System routingu kieruje proste żądania do mniejszych, mniej kosztownych modeli, rezerwując zaawansowane systemy dla trudnych zadań. Może również odrzucać żądania, z którymi lepiej radzi sobie tradycyjne oprogramowanie.

Associated Press podała, że firmy coraz częściej analizują taki routing, ponieważ tokenmaxxing traci na popularności. Jej raport o kosztach w miejscu pracy opisywał przedsiębiorstwa badające zwrot z wykorzystania AI i zniechęcające do używania zaawansowanych modeli w rutynowej pracy.

Routing nadal wymaga osądu. Krótki prompt może kryć zadanie wysokiego ryzyka, podczas gdy długi dokument może wymagać jedynie podstawowej ekstrakcji. Firmy potrzebują polityk opartych na wrażliwości danych, złożoności, wymaganiach dotyczących dokładności i oczekiwanej wartości.

Pod presją są również zespoły zakupowe. Muszą porównywać subskrypcje, umowy rozliczane według użycia, usługi chmurowe i wbudowane funkcje AI, które mierzą aktywność na różne sposoby. Przewidywalna licencja per stanowisko może nadal zawierać limity użycia lub ograniczenia.

CIO dziedziczą problem techniczny, ale CFO decydują, czy wydatek zasługuje na dalsze wsparcie. Liderzy jednostek biznesowych muszą wyjaśniać, co tworzą te narzędzia. Zespoły bezpieczeństwa muszą śledzić, jakie informacje pracownicy wysyłają do zewnętrznych modeli.

Ta wspólna odpowiedzialność jest nowa. Tradycyjne budżetowanie oprogramowania często przypisuje licencję do działu. Korporacyjne AI wymaga od organizacji powiązania każdego przepływu pracy zarówno ze zużyciem, jak i rezultatem.

Rezultatem nie może być „pracownicy częściej korzystali z AI”. Musi opisywać coś, co organizacja ceni, na przykład szybsze rozwiązywanie spraw, mniej błędów, dodatkowe przychody lub mniej powtarzalnej pracy.

Pracownicy wiedzy potrzebują też alternatyw. Przeszukiwalna baza wiedzy może ograniczyć wielokrotne przesyłanie dokumentów, gdy informacje już istnieją lokalnie. Lepsze wyszukiwanie może przesyłać tylko istotne fragmenty zamiast całych plików.

Ta zmiana wpływa więc na projektowanie przepływów pracy w takim samym stopniu jak na politykę wydatków. Firmy, które po prostu narzucą limity tokenów, ograniczą zużycie. Niekoniecznie jednak ustalą, które działania powinny być kontynuowane.

Maksymalne wykorzystanie AI zderza się z mierzalną wartością

Marzenie o nielimitowanym użyciu upada, gdy aktywność staje się substytutem dowodów produktywności.

Przez kilka lat kadra zarządzająca obawiała się, że pracownicy nie wdrażają AI wystarczająco szybko. Firmy finansowały pilotaże, udostępniały asystentów, tworzyły programy szkoleniowe i zachęcały zespoły do szukania przypadków użycia.

Ta strategia miała sens, gdy wąskim gardłem było wdrożenie. Niewiele organizacji wiedziało, gdzie generatywne AI sprawdzi się w praktyce. Szerokie eksperymentowanie pomagało ujawniać użyteczne wzorce.

Wąskie gardło się przesunęło. Gdy tysiące pracowników może korzystać z zaawansowanych modeli, eksperymentowanie staje się stałym kosztem operacyjnym. Pytanie zmienia się z „Czy ludzie korzystają z AI?” na „Które zastosowania zasługują na skalowanie?”.

Odpowiedź Accenture wyraźnie pokazuje tę transformację. Jego program tokenomics promuje monitorowanie w czasie rzeczywistym, odpowiedzialność, dobór modeli i koszt na transakcję.

Firma opisuje podejście trzyetapowe: zobaczyć zużycie, naprawić nieefektywne projekty i utrzymywać kontrole wraz ze zmianą obciążeń. Ta struktura przypomina finansowe zarządzanie chmurą, lecz AI wprowadza więcej niepewności związanej z jakością zadań i zachowaniem agentów.

Głównym przeciwnikiem nie jest zatem Accenture przeciwko dostawcy modeli. Jest nim obietnica bezproblemowej obfitości AI zderzona z rzeczywistością odpowiedzialnych wydatków przedsiębiorstw.

Maksymalne użycie generuje widoczny entuzjazm. Tworzy liczniki promptów, wygenerowane dokumenty, uruchomienia agentów i pulpity wdrożeniowe. Żadna z tych metryk nie potwierdza, że organizacja uzyskała odpowiadającą im wartość.

Mierzalna wartość jest wolniejsza i mniej efektowna. Wymaga porównania z punktem odniesienia. Zespoły muszą pytać, ile czasu zajmowała praca przed AI, czy jakość się zmieniła i ile ludzkiej kontroli nadal jest potrzebne.

Konwersja PDF ponownie stanowi właściwy test. Jeśli przepływ pracy oparty na AI zamienia raport w slajdy, firma powinna porównać go z konwencjonalnymi narzędziami do ekstrakcji i tworzenia prezentacji. Powinna uwzględnić czas korekty, błędy merytoryczne, poprawki formatowania i weryfikację.

Ścieżka AI nadal może wygrać. Model może zinterpretować nieregularny raport, zidentyfikować tematy i szybciej niż sztywne oprogramowanie przygotować użyteczną narrację. Nie chodzi o to, że AI nigdy nie powinno mieć kontaktu z plikiem PDF.

Chodzi o to, że użycie modelu musi zasłużyć na swoje miejsce. Agent zużywający więcej zasobów może być opłacalny, gdy wykonuje pracę o większej wartości. Tani przepływ pracy nadal jest marnotrawstwem, jeśli nikt nie potrzebuje jego wyników.

To rozróżnienie stanowi również wyzwanie dla dostawców modeli. Ich produkty zyskują, gdy klienci przesyłają dłuższe konteksty, wykonują więcej rozumowania i delegują więcej kroków. Nabywcy korporacyjni odnoszą korzyść tylko wtedy, gdy te kroki poprawiają rezultat.

Dostawcy dodają mechanizmy cache’owania, przetwarzanie wsadowe, mniejsze modele i funkcje routingu. Narzędzia te ograniczają marnotrawstwo, ale nie rozwiązują rozbieżności bodźców. Dostawcy nadal zarabiają na zużyciu lub szerszym wdrożeniu.

Firmy potrzebują własnej warstwy pomiarowej. Powinna ona rejestrować żądania, wybór modelu, liczbę tokenów, opóźnienia, wskaźniki błędów, interwencje człowieka i powiązany proces biznesowy.

Potrzebują też reguły zatrzymania. Agent nie powinien dalej poprawiać dokumentu o niskiej wartości tylko dlatego, że może. Budżety, limity kroków, progi pewności i bramki zatwierdzające mogą ograniczać otwartą pracę bez końca.

Ta sama dyscyplina dotyczy osobistych przepływów pracy z AI. Wielokrotne przesyłanie tych samych źródeł marnuje czas i kontekst. Systemy obsługujące knowledge blending mogą pobierać wybrane informacje bez odbudowywania pełnego kontekstu dla każdego żądania.

Simon Willison od dawna koncentruje się na praktycznym działaniu modeli językowych, w tym na ich ograniczeniach, kosztach i konsekwencjach dla bezpieczeństwa. Jego obserwacja dotycząca PDF wpisuje się w to podejście. Ujawniające szczegóły często pojawiają się w codziennych decyzjach implementacyjnych, a nie w wielkich zapowiedziach modeli.

Kontrole tokenów mogą stworzyć własną porażkę

Toporne ograniczanie wydatków może zniszczyć użyteczne eksperymenty, jednocześnie zachowując najmniej widoczne formy marnotrawstwa.

Argumenty za kontrolą kosztów są silne, ale dostępne dowody nie pokazują, że pracownicy nietechniczni są główną przyczyną nadmiernych wydatków przedsiębiorstw na AI. Komentarze Accenture pochodziły z opisanej prywatnej dyskusji, a nie z opublikowanego audytu zużycia.

Zapadająca w pamięć historia o PDF może zniekształcić uwagę. Łatwo drwić z konwersji dokumentów, ponieważ taki przepływ pracy brzmi przesadnie. Kosztowni agenci inżynieryjni również mogą zużywać duże konteksty, uruchamiać testy, przeglądać repozytoria i ponawiać nieudane zmiany.

Te zadania inżynieryjne mogą przynosić większą wartość, lecz firmy nadal potrzebują dowodów. Techniczna etykieta nie czyni zużycia efektywnym. Podobnie nietechniczne żądanie może wspierać ważną pracę prawną, sprzedażową lub badawczą.

Organizacje powinny unikać przekształcania zarządzania tokenami w nadzór nad pracownikami. Dzienniki promptów mogą zawierać poufną pracę, informacje kadrowe, dane klientów i wstępne pomysły. Szczegółowe monitorowanie tworzy obowiązki w zakresie bezpieczeństwa i prywatności.

Alokacja kosztów może również zniechęcać do współpracy. Jeśli każdy dział otrzyma ścisły budżet tokenów, zespoły mogą ukrywać eksperymenty lub przenosić wydatki do narzędzi pozostających poza centralnym pulpitem.

Twarde limity tworzą kolejne ryzyko. Agent może zatrzymać się przed ukończeniem wartościowego zadania, pozostawiając pracownikom częściowo wykonaną pracę, która nadal wymaga ręcznego odzyskania. Organizacja oszczędza tokeny, ale traci oczekiwaną korzyść.

Routing do tańszych modeli może zmniejszyć wydatki kosztem jakości. Mniejsze modele mogą pominąć szczegóły dokumentu, niewłaściwie obsłużyć instrukcje narzędziowe lub generować wiarygodnie brzmiące błędy. Przepływ pracy wymagający wielokrotnych poprawek może ostatecznie kosztować więcej.

EY twierdzi, że tokeny są jedynie najbardziej widoczną częścią ekonomiki agentów. Jego analiza kosztów agentów obejmuje infrastrukturę, zarządzanie, zmiany organizacyjne, odzyskiwanie po awariach i ekspozycję regulacyjną.

Szersze spojrzenie ma znaczenie, ponieważ lokalna optymalizacja może przenosić koszty w inne miejsca. Ograniczenie zużycia modeli może zwiększyć czas weryfikacji przez pracowników. Ograniczenie uruchomień ewaluacji może dopuścić kosztowne błędy do produkcji.

Firmy powinny mierzyć całkowity koszt przepływu pracy zamiast świętować niższe sumy tokenów. Powinny też porównywać jakość, szybkość i ryzyko przed oraz po każdej interwencji.

W tym miejscu etykieta „tokenpocalypse” może wprowadzać w błąd. Problem nie polega na tym, że tokeny nagle wszędzie stały się nieosiągalnie drogie. Problem polega na tym, że szybkie wdrożenie ujawniło słabe pomiary i niejasną odpowiedzialność.

Niektóre organizacje odkryją, że ich programy AI nadal są atrakcyjne ekonomicznie. Inne stwierdzą, że pracownicy zautomatyzowali pracę o niewielkiej wartości strategicznej. Większość znajdzie oba wzorce w tej samej firmie.

Koszty jednostkowe będą nadal spadać, a modele będą się dalej poprawiać. Tendencje te osłabiają prognozy trwałej bariery wydatkowej. Wzmacniają argument za zarządzaniem, ponieważ niższe koszty zachęcają do jeszcze większego zużycia.

Sceptyczny wniosek jest zatem węższy. Przedsiębiorstwa niekoniecznie porzucają AI. Przechodzą od celów wdrożeniowych do decyzji o alokacji, a decyzje te nadal trudno ocenić.

Kolejne trzy sygnały pokażą, czy tokenomics działa

Kolejna faza będzie oceniana przez zwroty na poziomie przepływów pracy, automatyczny routing modeli i zmiany w zachowaniach zakupowych przedsiębiorstw.

Pierwszym sygnałem będzie to, czy firmy raportują koszt ukończonego procesu biznesowego zamiast całkowitego ograniczenia liczby tokenów. Użyteczna metryka mogłaby śledzić jedną rozwiązaną sprawę wsparcia, przejrzaną umowę, ukończoną zmianę w oprogramowaniu lub zakończone zadanie badawcze.

Wzmocniłoby to argument za tokenomics, ponieważ łączy wydatki z wynikiem. Jeśli firmy publikują wyłącznie niższe zużycie, mogą tłumić korzystanie bez poprawy produktywności.

Warto obserwować, jak Accenture rozwija własną ofertę. Jego podejście obiecuje widoczność w całym zakresie przepływów pracy, właścicieli, modeli i agentów. Dowody na powtarzalne wyniki klientów pokazałyby, że wewnętrzna obawa zidentyfikowana przez 404 Media stała się praktyczną dyscypliną zarządzania.

Drugim sygnałem będzie powszechny automatyczny routing. Pracownicy obecnie podejmują wiele decyzji dotyczących modeli za pośrednictwem menu produktów lub ustawień domyślnych. Stawia to techniczną decyzję kosztową przed użytkownikami, którym brakuje informacji, by ją ocenić.

Skuteczny routing rezerwowałby zaawansowane rozumowanie dla zadań, które go wymagają. Kierowałby proste zadania ekstrakcji, klasyfikacji i przepisywania do mniejszych systemów lub konwencjonalnego oprogramowania.

Kluczową miarą nie jest częstotliwość routingu. Jest nią to, czy routing zachowuje jakość, jednocześnie obniżając całkowity koszt przepływu pracy. Wysokie wskaźniki poprawek osłabiłyby argument za agresywnym obniżaniem klasy modeli.

Trzecim sygnałem będzie zmiana w zakupach przedsiębiorstw. Nabywcy mogą żądać wspólnych pul wykorzystania, szczegółowej telemetrii, egzekwowalnych budżetów, mechanizmów kontroli cache’owania i umów ściślej powiązanych z rezultatami.

Mogą też preferować produkty, które przetwarzają lokalne informacje bez wielokrotnego wysyłania całych dokumentów do modeli frontier. Nagradzałoby to efektywne zarządzanie kontekstem, a nie maksymalną przepustowość tokenów.

Jeśli dostawcy odpowiedzą jaśniejszymi kontrolami i przewidywalnym zużyciem, obecny sprzeciw będzie wyglądał jak normalny cykl dojrzewania. Korporacyjne AI będzie nadal się rozwijać pod bardziej rygorystycznymi zasadami finansowymi.

Jeśli koszty pozostaną nieprzejrzyste, firmy wprowadzą szersze ograniczenia. Taki wynik spowolni eksperymentowanie i zwiększy popyt na mniejsze modele o otwartych wagach lub modele działające lokalnie.

Obserwacja Simona Willisona daje czytelnikom praktyczne pytanie do oceny każdego przepływu pracy z AI: jaką pracę model faktycznie wykonuje i dlaczego ta praca wymaga właśnie tego modelu?

Zastosuj to pytanie, zanim wyślesz kolejny duży dokument do agenta. Sprawdź, czy ekstrakcja tekstu, wyszukiwanie, przetwarzanie lokalne lub mniejszy model mogą ukończyć pierwszy etap. Drogie rozumowanie zachowaj dla części wymagających osądu.

Tokenpocalypse nie jest końcem korporacyjnego AI. Jest końcem traktowania każdego wygenerowanego wyniku jako dowodu postępu. Firmy, które mierzą rezultaty, kontrolują kontekst i świadomie kierują zadania, będą nadal eksperymentować. Te, które liczą jedynie wdrożenie, nadal będą odkrywać rachunek dopiero później.