Rywalizacja Anthropic z Google staje się osobista: Claude lepiej porządkuje myśli związane z ADHD

Anthropic pokonał Google, OpenAI i Microsoft w teście czterech chatbotów opartym na jednym chaotycznym, głęboko osobistym wyzwaniu: uporządkowaniu zapisu myśli autora z ADHD.

Oryginalne porównanie poprosiło ChatGPT, Gemini, Claude i Copilot o zaprowadzenie porządku w myślach, które nie pojawiały się w uporządkowanych akapitach. Claude miał podobno przygotować odpowiedź, którą autor uznał za najbardziej przydatną.

Wynik ten nie ustanawia uniwersalnego rankingu. Pochodzi od jednej osoby, dotyczy jednego rodzaju zadania i opiera się na subiektywnej ocenie tego, co wydawało się łatwe do ogarnięcia. Mimo to test ujawnia istotną linię podziału w rywalizacji Anthropic z Google.

Najbardziej pomocny asystent niekoniecznie był tym z najszerszą listą funkcji lub najwyższym wynikiem w benchmarkach. Był tym, który ograniczył pracę potrzebną do zrozumienia odpowiedzi i podjęcia działania.

Dla osób z ADHD to rozróżnienie ma znaczenie. Zaburzenie może wpływać na uwagę, planowanie, pamięć roboczą i zarządzanie zadaniami, choć doświadczenia bywają bardzo różne. Przegląd kliniczny National Institute of Mental Health podkreśla również, że diagnoza i leczenie należą do kompetencji wykwalifikowanych specjalistów.

Asystent AI nie może zapewnić takiej opieki. Może jednak pomóc w restrukturyzacji informacji, gdy ktoś już wie, co chce powiedzieć, ale nie potrafi łatwo przekształcić tego w użyteczną sekwencję.

Ten wąski przypadek użycia nadaje temu porównaniu chatbotów większą wagę niż kolejna syntetyczna tabela wyników. Sprawdza, czy asystent potrafi przekształcić poznawczy chaos w zewnętrzną strukturę, nie tworząc przy tym drugiej warstwy bałaganu.

Claude wygrał test, który ignoruje większość benchmarków AI

Istotną zmianą nie była premiera nowego modelu. Był nią test tego, czy czterej czołowi asystenci potrafią ułatwić korzystanie z nieuporządkowanego myślenia.

Tradycyjne oceny AI koncentrują się na pytaniach z mierzalnymi odpowiedziami. Badacze mogą punktować zadania programistyczne, problemy matematyczne, dokładność faktograficzną, opóźnienia i stosowanie się do instrukcji. Uporządkowanie osobistego zapisu myśli nie ma jednej poprawnej odpowiedzi.

Ocena autora zależała więc od praktycznych cech. Czy odpowiedź wskazywała priorytety? Czy zachowywała znaczenie, które autor chciał przekazać? Czy można było ją szybko przejrzeć bez poczucia zagubienia? Czy tworzyła wiarygodny następny krok?

Te pytania sprawdzają architekturę informacji, czyli sposób grupowania, oznaczania i porządkowania treści. Sprawdzają również, ile pracy interpretacyjnej asystent oddaje z powrotem użytkownikowi.

Odpowiedź może być technicznie kompetentna, a mimo to trudna w użyciu. Może tworzyć rozbudowaną taksonomię, powtarzać każdy szczegół, dodawać motywacyjny język i proponować kilka systemów planowania. Każdy z tych dodatków osobno brzmi pomocnie.

Łącznie mogą one zwiększyć obciążenie poznawcze, czyli ilość informacji, które ktoś musi jednocześnie utrzymać i przetworzyć. Użytkownik musi wtedy uporządkować organizację stworzoną przez asystenta.

Zgłoszone zwycięstwo Claude sugeruje, że w tym przypadku znalazł on lepszą równowagę. Jego odpowiedź najwyraźniej bardziej odpowiadała sposobowi myślenia autora i lepiej działała jako zewnętrzna struktura. To coś więcej niż samo wygenerowanie dopracowanego podsumowania.

To rozróżnienie ma kluczowe znaczenie dla procesów pracy związanych z ADHD. Zwięzła odpowiedź wciąż może zawieść, jeśli usuwa ważny kontekst. Wyczerpująca odpowiedź również może zawieść, jeśli przedstawia zbyt wiele kategorii, wyborów lub wstępnych kroków.

Najlepszy rezultat zachowuje to, co istotne, jednocześnie zmniejszając liczbę decyzji potrzebnych do rozpoczęcia działania. Powinien przekształcić gęsty zapis myśli w niewielki zestaw zrozumiałych elementów, takich jak priorytety, otwarte pytania i kolejne działania.

Dlatego porównania nie należy sprowadzać do stwierdzenia „Claude jest najinteligentniejszy”. Test nie mierzył ogólnej inteligencji, skuteczności klinicznej ani długoterminowej produktywności. Mierzył dopasowanie między stylem odpowiedzi jednego asystenta a natychmiastowymi potrzebami poznawczymi jednej osoby.

To dopasowanie nadal stanowi wartościowy dowód. Upowszechnienie konsumenckiej AI dokonuje się poprzez powtarzające się chwile takie jak ta, a nie wyłącznie za sprawą wykresów benchmarków.

Model staje się użyteczny, gdy ktoś powierza mu niedokończony materiał. Może on obejmować częściowe pomysły, powielone obawy, kontekst emocjonalny, sprzeczne terminy i zadania bez oczywistych kategorii.

Asystent musi wywnioskować strukturę, nie udając, że niepewność zniknęła. Jeśli narzuci zbyt dużo porządku, może zniekształcić intencje użytkownika. Jeśli narzuci go zbyt mało, użytkownik nie odczuje znaczącej ulgi.

Claude miał podobno lepiej poradzić sobie z tą granicą podczas testu. Wynik wywiera presję na każdego rywala, ponieważ organizacja staje się podstawowym problemem interfejsu, a nie niszową funkcją pisania.

Dlaczego rywalizacja Anthropic z Google zależy teraz od tarcia poznawczego

Rywalizacja Anthropic z Google coraz bardziej dotyczy tego, który asystent wymaga od użytkowników najmniej pracy naprawczej po otrzymaniu odpowiedzi.

Google może łączyć Gemini z dużą kolekcją usług i informacji osobistych, zależnie od konta, regionu, ustawień i konfiguracji produktu. Ten zasięg daje Gemini oczywistą przewagę w zadaniach związanych z dokumentami, wiadomościami, kalendarzami i innym przechowywanym kontekstem.

Anthropic zajmuje inną pozycję dzięki Claude. Tożsamość jego produktu często podkreślała staranne pisanie, rozszerzoną analizę i pracę z dużą ilością kontekstu. Przy nieustrukturyzowanym zapisie myśli te cechy mogą być ważniejsze niż dostęp do kolejnej aplikacji.

Porównanie ujawnia zatem rywalizację między szerokością integracji a jakością interakcji. Integracje pomagają asystentowi pobierać materiał. Nie gwarantują, że jego ostateczna odpowiedź będzie łatwa do przetworzenia.

Użytkownik mający dwadzieścia fragmentarycznych myśli nie zawsze potrzebuje więcej kontekstu. Może potrzebować trafniejszej selekcji, wyraźniejszego grupowania i mniejszej liczby konkurujących sugestii.

Google nadal zajmuje silną pozycję strategiczną. Gemini może uczestniczyć w procesach pracy już toczących się w produktach Google. Może to ograniczyć kopiowanie, przełączanie się i ręczne wyszukiwanie, gdy istotne informacje znajdują się w tych usługach.

Pobieranie informacji stanowi jednak tylko pierwszą połowę zadania. Asystent musi zdecydować, co zasługuje na uwagę, i przedstawić to w formie, na podstawie której użytkownik może działać.

Właśnie tutaj tarcie poznawcze staje się miarą konkurencyjności. Tarcie poznawcze to wysiłek umysłowy generowany przez interfejs, obejmujący niejasne etykiety, nadmiar opcji, powtarzające się decyzje i wyniki wymagające obszernej redakcji.

Chatboty często ukrywają to tarcie za płynną prozą. Odpowiedź wygląda na ukończoną, ponieważ używa pełnych zdań i czystego formatowania. Użytkownik może jednak nadal potrzebować ustalić, co jest ważne, usunąć powtórzenia i przełożyć ogólne porady na konkretne działania.

Dla użytkowników z ADHD taka praca naprawcza może zniweczyć pierwotny cel. Funkcje wykonawcze, czyli procesy umysłowe związane z kierowaniem uwagą i wykonywaniem działań ukierunkowanych na cel, mogą zostać obciążone odpowiedzią oferującą zbyt wiele równie ważnych ścieżek.

Właściwy wynik nie zawsze jest najkrótszy. Jest nim odpowiedź o zrozumiałej hierarchii.

Użyteczna hierarchia może zaczynać się od bezpośredniego celu użytkownika, następnie wskazywać kolejne fizyczne działanie, a później przedstawiać notatki pomocnicze. Pomysły o niższym priorytecie mogą pozostać widoczne, nie konkurując z pierwszym krokiem.

Taka struktura przynosi korzyści także osobom bez ADHD. Menedżerowie, badacze, studenci i programiści regularnie gromadzą więcej informacji, niż są w stanie ocenić podczas jednego posiedzenia.

Szersza szansa rynkowa jest więc znacząca. Chatbot, który niezawodnie przekształca fragmentaryczne dane wejściowe w godny zaufania plan, staje się czymś więcej niż systemem pytań i odpowiedzi. Staje się interfejsem między myślą a działaniem.

Zagrożeniem dla Google nie jest to, że jeden autor Stuff wolał Claude. Polega ono na tym, że użytkownicy mogą kojarzyć Claude z zadaniami wymagającymi mniej tarcia poznawczego, nawet gdy Gemini ma szerszy dostęp do ich informacji.

Zagrożenie dla Anthropic jest odwrotne. Silny projekt odpowiedzi może wygrać pojedynczy prompt, ale zintegrowani rywale mogą się na nim uczyć, zachowując jednocześnie przewagi w dystrybucji.

OpenAI i Microsoft stoją przed taką samą presją. ChatGPT ma szeroką rozpoznawalność wśród konsumentów i coraz bardziej trwałe funkcje personalizacji. Microsoft może umieszczać Copilot blisko dokumentów i komunikacji w miejscu pracy.

Żadna z tych przewag nie rozwiązuje automatycznie problemu projektu odpowiedzi. Przeładowana odpowiedź pozostaje przeładowana, nawet jeśli pojawia się w znanej aplikacji.

Kolejny etap rywalizacji nagrodzi asystentów, którzy dostosują nie tylko to, co wiedzą, lecz także sposób, w jaki pakują tę wiedzę dla konkretnego umysłu i chwili.

Claude kontra Gemini: w rzeczywistości struktura kontra szerokość funkcji

Claude kontra Gemini nie był po prostu konkursem modeli. Był praktycznym sprawdzianem tego, czy struktura może przewyższyć szerszy zasięg produktu.

Firmy AI często opisują personalizację jako zapamiętywanie preferencji lub dostęp do odpowiednich plików. Te możliwości mogą poprawiać ciągłość, ale nie gwarantują, że asystent rozumie preferowany przez użytkownika poziom szczegółowości.

Ktoś może chcieć wyczerpującej odpowiedzi podczas researchu i trzywierszowej listy kontrolnej, gdy czuje się przytłoczony. Trwały profil nie jest w stanie w pełni określić, który tryb będzie odpowiedni w każdej chwili.

Asystent musi wykrywać sygnały w bieżącym zapytaniu. Długie, nieuporządkowane dane wejściowe mogą wskazywać, że użytkownik potrzebuje kompresji. Mogą też oznaczać, że każdy szczegół wydaje się ważny i powinien pozostać możliwy do prześledzenia.

Dobra odpowiedź może spełnić obie potrzeby poprzez stopniowe ujawnianie informacji. Taki projekt prezentuje najpierw najważniejsze informacje, a następnie udostępnia pod nimi szczegóły pomocnicze.

Na przykład asystent mógłby zacząć od jednego zdania opisującego główny problem. Następnie mógłby wskazać trzy priorytety, przypisać każdemu jedno kolejne działanie i umieścić nierozstrzygnięty materiał w osobnej sekcji przechowalni.

Hierarchia jest ważniejsza niż dekoracyjne formatowanie. Dziesięć nagłówków może tworzyć tyle samo tarcia co długi akapit, jeśli każdy nagłówek wygląda na równie ważny.

Zgłoszona przewaga Claude prawdopodobnie wynikała z tego, jak jego odpowiedź została odebrana przez autora, a nie z niezależnie zmierzonej różnicy w możliwościach. Tego subiektywnego wymiaru nie należy lekceważyć. Użyteczność zawsze jest doświadczana przez człowieka.

Jednocześnie uniemożliwia to wyciągnięcie uniwersalnego wniosku. Inny użytkownik może preferować organizację Gemini, konwersacyjny styl ChatGPT lub połączenie Copilot ze środowiskiem pracy.

Sformułowanie promptu również może zmienić wynik. „Uporządkuj te myśli” pozostawia duże pole do interpretacji. Model może podsumować, skategoryzować, ustalić priorytety, stworzyć harmonogram lub zadać pytania doprecyzowujące.

Są to różne zadania. Asystent, który odgadnie pożądaną transformację, zyskuje przewagę, ale domysł może zawieść, gdy intencja użytkownika się zmieni.

To stwarza wyzwanie projektowe dla wszystkich czterech firm. Zadanie kilku pytań doprecyzowujących może zwiększyć dokładność, jednak wprowadza też kolejną barierę, zanim użytkownik otrzyma pomoc.

Najsilniejsza interakcja może oferować natychmiastowy szkic, jednocześnie ujawniając przyjęte założenia. Mogłaby informować, że pogrupowała materiał według pilności, a następnie zaprosić użytkownika do przełączenia widoku na tematy lub chronologię.

Takie podejście zachowuje tempo. Daje też użytkownikowi kontrolę bez wymuszania wczesnego procesu konfiguracji.

Funkcje pamięci OpenAI ilustrują kolejny aspekt tego problemu. Firmowe ustawienia pamięci pozwalają użytkownikom zarządzać tym, czy ChatGPT zachowuje określone szczegóły między rozmowami. Trwały kontekst może ograniczyć konieczność powtarzania wyjaśnień, ale użytkownicy nadal muszą widzieć, co system zapamiętał.

Google mierzy się z podobnymi kwestiami zaufania, gdy Gemini korzysta z połączonych informacji. Jego wytyczne dotyczące prywatności wyjaśniają, jak aktywność, weryfikacja przez ludzi i połączone usługi współdziałają z ustawieniami użytkownika.

Te mechanizmy są ważne, ponieważ osobiste zrzuty myśli mogą zawierać bardziej wrażliwe informacje niż zwykłe zapytania w wyszukiwarce. Użytkownik może uwzględnić obawy zdrowotne, konflikty w pracy, szczegóły dotyczące rodziny, niedokończone pomysły lub nazwiska innych osób.

Asystent organizacyjny powinien zatem jasno przedstawiać granice prywatności, zanim użytkownik udostępni bardzo osobiste materiały. Powinien również umożliwiać usuwanie danych, sesje tymczasowe i wyraźne rozróżnienie między zapisanymi wspomnieniami a jednorazowym kontekstem.

Microsoft dodaje kolejną kwestię w środowiskach pracy. Odpowiedź Copilot może działać w pobliżu firmowych plików, wiadomości i zasad. Taki kontekst może zwiększać trafność, ale rodzi też pytania o uprawnienia, retencję danych i o to, czy osobiste refleksje powinny znajdować się na koncie zarządzanym przez pracodawcę.

Zwycięski produkt będzie potrzebował czegoś więcej niż dobrego tekstu. Musi łączyć użyteczną strukturę, odpowiedni kontekst, niski koszt interakcji i zrozumiałe mechanizmy kontroli danych.

Wynik Claude w porównaniu Stuff daje Anthropic korzystny przykład. Nie rozstrzyga jednak, czy ta przewaga utrzymuje się w różnych kontach, promptach, wersjach modeli, językach i dłuższych procesach pracy.

Zwycięstwo Jednego Autora Nie Jest Dowodem Klinicznym

Przydatny wynik działania chatbota należy traktować jako obserwację procesu pracy, a nie dowód na to, że AI leczy ADHD lub zastępuje profesjonalne wsparcie.

ADHD jest stanem klinicznym o zróżnicowanym obrazie i różnym poziomie wpływu na funkcjonowanie. Osobista relacja może pokazać, co okazało się pomocne dla jednej osoby, lecz nie może potwierdzić skuteczności dla szerszej populacji.

Porównanie Stuff nie wydaje się badaniem kontrolowanym. Brakuje w nim reprezentatywnej grupy uczestników, zaślepionej oceny, stałych ram punktacji oraz powtarzanych prób w różnych typach zadań.

Zachowanie modelu również może się zmieniać. Dostawcy aktualizują instrukcje systemowe, zasady bezpieczeństwa, interfejsy i modele bazowe. Wynik zaobserwowany podczas jednej sesji może nie powtórzyć się później.

Nawet w ramach tego samego produktu jakość odpowiedzi może zależeć od ustawień konta, historii rozmów, włączonych narzędzi i dokładnego sformułowania danych wejściowych. Uczciwe porównanie wymagałoby kontrolowania tych zmiennych.

Wymagałoby również zdefiniowania sukcesu przed zobaczeniem odpowiedzi. W przeciwnym razie oceniający mogą nieświadomie preferować styl, który wydaje się im najbardziej znajomy.

Możliwe kryteria obejmują wierność oryginalnym myślom, ograniczenie powielonych pomysłów, jasność priorytetów, liczbę możliwych do wykonania kolejnych kroków, wysiłek potrzebny do przeczytania oraz zdolność użytkownika do późniejszego odtworzenia planu.

Mocniejsze badanie sprawdzałoby, czy uporządkowany wynik zmienia zachowanie. Czy uczestnik rozpoczął zamierzone zadanie? Czy plan pozostał użyteczny następnego dnia? Czy ograniczył pominięte zobowiązania, czy tylko przez kilka minut dawał poczucie uspokojenia?

Ta różnica ma znaczenie, ponieważ chatboty wyjątkowo dobrze tworzą pozory ukończenia. Pięknie sformatowany plan może zapewnić krótkotrwałe poczucie kontroli, nie poprawiając realizacji działań.

AI może też wprowadzać błędy podczas porządkowania osobistych informacji. Może łączyć odrębne problemy, przypisywać pilność, której użytkownik nie wyraził, albo pomijać szczegół pozornie drobny, lecz mający znaczenie emocjonalne.

Użytkownicy powinni sprawdzić wynik przed oparciem na nim decyzji medycznych, finansowych, zawodowych lub prawnych. Powinni też unikać traktowania pewnego tonu jako dowodu, że asystent zrozumiał wszystkie konsekwencje.

Najbezpieczniejsze ujęcie to wspomaganie. Chatbot zapewnia edytowalną zewnętrzną reprezentację myśli użytkownika. Użytkownik nadal odpowiada za ocenę, czy ta reprezentacja jest trafna i właściwa.

Ta zasada dotyczy również porad dotyczących produktywności. Model może sugerować blokowanie czasu, przypomnienia, macierze priorytetów lub dzielenie pracy na mniejsze zadania. Takie podejścia pomagają niektórym osobom, a innych frustrują.

Powtarzające się niepowodzenia z proponowanym systemem nie powinny być interpretowane jako osobista porażka. Mogą po prostu oznaczać, że system nie odpowiada potrzebom użytkownika, jego środowisku lub aktualnemu poziomowi możliwości.

Istnieje też ryzyko uzależnienia. Jeśli użytkownicy zlecają AI każdą czynność ustalania priorytetów, mogą niechętnie działać bez kolejnej rundy przetwarzania przez AI.

Lepszym celem projektowym jest regulowane wsparcie. Czasem asystent powinien przygotować pełną strukturę. Innym razem powinien wskazać jedno kolejne działanie, a następnie się wycofać.

Dostawcy AI nie ustanowili jeszcze standardowego sposobu mierzenia tej formy pomocy. Metryki zaangażowania mogłyby wręcz nagradzać niewłaściwe zachowania. Dłuższe rozmowy i powtarzane prompty mogą wyglądać pozytywnie dla platformy, a jednocześnie oznaczać dodatkowe trudności dla użytkownika.

Prywatność pozostaje kolejnym ograniczeniem. Wysoce osobiste zrzuty myśli mogą ujawniać objawy, diagnozy, relacje i problemy w pracy. Użytkownicy powinni sprawdzić odpowiednie ustawienia danych przed udostępnieniem takich materiałów.

Powinni też odróżniać konta konsumenckie od usług zarządzanych przez pracodawcę. Polityka organizacji może wpływać na retencję danych, dostęp administratorów i dozwolone użycie.

Żadne z tych zastrzeżeń nie unieważnia wyniku autora. Wyznaczają jego właściwy zakres.

Claude miał podobno wygrać konkretne spotkanie z perspektywy użyteczności. Jest to wiarygodne jako indywidualne doświadczenie i użyteczny sygnał produktowy. Nie stanowi dowodu korzyści terapeutycznych ani szerokiej przewagi modelu.

Co Anthropic, Google, OpenAI i Microsoft Muszą Udowodnić Dalej

Kolejnym zwycięzcą będzie asystent, który przekształci jeden udany prompt organizacyjny w powtarzalny, możliwy do kontrolowania proces pracy.

Pierwszym sygnałem, na który warto zwrócić uwagę, jest powtarzalność w przypadku różnorodnych zrzutów myśli. Ten sam asystent powinien radzić sobie z krótką listą, długą emocjonalną narracją, fragmentami spotkań, konkurującymi terminami i notatkami zbieranymi przez kilka dni.

Spójne działanie wzmocniłoby argument, że Claude ma trwałą przewagę organizacyjną. Duże różnice między promptami sugerowałyby, że wynik Stuff w dużej mierze zależał od jednej korzystnej interakcji.

Powtarzalność powinna obejmować wierność. Model nie może poprawiać czytelności przez ciche zmienianie znaczenia użytkownika. Powinien zachowywać niepewność, odróżniać zobowiązania od pomysłów i wskazywać, gdzie wywnioskował priorytet.

Drugim sygnałem jest adaptacyjna kontrola wyniku. Użytkownicy potrzebują prostych sposobów na zażądanie mniejszej liczby szczegółów, większego kontekstu, innego grupowania lub jednego natychmiastowego działania.

Nie powinno to wymagać biegłości w tworzeniu promptów. Elementy sterujące interfejsu mogłyby oferować wybory takie jak „pokaż tylko kolejne kroki”, „zachowaj każdy szczegół” lub „grupuj według pilności”.

Jeśli Anthropic przekształci korzystny styl wyników w zrozumiałe mechanizmy sterowania, może wzmocnić pozycję Claude. Jeśli Google doda równie skuteczne mechanizmy kontroli wokół połączonego kontekstu Gemini, jego przewaga dystrybucyjna stanie się bardziej istotna.

OpenAI może odpowiedzieć poprzez personalizację zmieniającą strukturę odpowiedzi, a nie tylko treść. Microsoft może uczynić Copilot bardziej użytecznym, dostosowując jego organizację do rodzaju wykorzystywanych materiałów z miejsca pracy.

Trzecim sygnałem jest trwała integracja z procesem pracy. Dobrze uporządkowana odpowiedź ma ograniczoną wartość, jeśli staje się kolejną odizolowaną rozmową, o której użytkownik zapomina.

Użytkownicy muszą mieć możliwość przenoszenia wybranych działań do kalendarzy, systemów zadań, dokumentów lub przeszukiwalnej osobistej bazy wiedzy. Przeniesienie powinno pozostać celowe, aby asystent nie tworzył niechcianych zadań ani nie zachowywał automatycznie wrażliwych materiałów.

W tym miejscu najlepszy organizer AI musi równoważyć ciągłość z kontrolą. Powinien pamiętać to, co użytkownik chce zapamiętać, odrzucać to, co powinno pozostać tymczasowe, i wyjaśniać różnicę.

Użyteczny proces pracy mógłby rozpocząć się od nieprzefiltrowanego zrzutu myśli. Asystent zwróciłby zwięzłą mapę, pozwolił użytkownikowi zatwierdzić jej kategorie, a następnie zapisał tylko zatwierdzoną strukturę.

Ten proces tworzy punkt kontroli między prywatną ekspresją a trwałą wiedzą. Ogranicza też ryzyko, że błędna interpretacja rozprzestrzeni się do innych systemów.

Osoby, które już budują osobistą bazę wiedzy, mierzą się z tym samym wyzwaniem. Gromadzenie informacji jest łatwe. Przekształcenie ich w coś, co można odnaleźć i wykorzystać w działaniu, wymaga struktury, która nadal odzwierciedla pierwotny zamiar użytkownika.

Rywalizacja Anthropic i Google będzie więc wykraczać poza odpowiedzi modeli. Obejmie pamięć, uprawnienia, integracje, narzędzia do edycji oraz jakość przejść między rozmową a działaniem.

Dostawcy powinni również publikować jaśniejsze metody oceny subiektywnej pomocy. Użyteczny benchmark mógłby łączyć ukończenie zadania, oceniany przez użytkownika wysiłek umysłowy, faktyczną wierność oraz liczbę wymaganych poprawek.

Takie testy powinny obejmować uczestników neuroróżnorodnych, nie traktując ich jednak jako jednolitej grupy. Powinny również badać, czy różne wzorce interfejsu działają lepiej przy różnych poziomach stresu lub presji czasu.

Na razie czytelnicy mogą przeprowadzić własne ostrożne porównanie. Użyjcie tych samych zanonimizowanych danych wejściowych, rozpocznijcie świeże sesje, wyłączcie niepotrzebną personalizację i ustalcie kryteria punktacji przed przeczytaniem jakiejkolwiek odpowiedzi.

Oceńcie, czy każdy asystent zachował znaczenie, wskazał wiarygodny pierwszy krok i ograniczył liczbę decyzji. Nie nagradzajcie automatycznie długości ani wizualnego dopracowania.

Następnie powtórzcie test z innym rodzajem zrzutu myśli. Pojedyncze zwycięstwo jest interesujące. Spójny wzorzec jest dowodem, który może pomóc w wyborze produktu.

Wynik autora Stuff daje Claude wczesną przewagę w tym wąskim scenariuszu. Daje też każdemu konkurentowi jasny cel: zmniejszyć dystans między niedokończonymi myślami użytkownika a pierwszym działaniem, które wydaje się możliwe.

Gdy następnym razem Twoje notatki staną się niezróżnicowanym blokiem, przetestuj asystentów pod kątem tego dystansu. Usuń wrażliwe szczegóły, użyj identycznych danych wejściowych i poproś każde narzędzie o jeden priorytet, trzy kolejne działania oraz oddzielne miejsce przechowywania. Który wynik wymaga najmniejszej liczby poprawek, zanim będziesz mógł działać? To pytanie jest bardziej użyteczne niż pytanie, który model brzmi najinteligentniej. Oddaje też to, co rywalizacja Anthropic i Google coraz częściej oznacza dla zwykłych użytkowników. Zwycięski asystent nie będzie po prostu tworzył najbardziej płynnych odpowiedzi. Pomoże ludziom odzyskać orientację, zachowując ich osąd, prywatność i kontrolę.