Agenci AI Anthropic uczą się negocjować, ale kto ustala zasady?
Anthropic podobno konsultuje się z kancelariami prawnymi, podczas gdy jego agenci AI uczą się negocjować, co rodzi konflikt, którego zwykli asystenci nigdy nie musieli rozstrzygać. Asystent może zasugerować transakcję. Agenci AI Anthropic do negocjacji mieliby ją wynegocjować, interpretować ustępstwa, oceniać kontrahentów i potencjalnie zobowiązywać użytkowników do zaakceptowania warunków.
Te zgłaszane konsultacje prawne koncentrują się na pytaniach leżących na styku projektowania oprogramowania i utrwalonej praktyki handlowej. Jak agresywnie agent powinien realizować interesy użytkownika? Kiedy musi poprosić o zgodę? Jak powinien reagować, gdy drugi negocjator również jest systemem AI?
Pytania te stały się pilne, ponieważ Anthropic testował już agentów zasilanych przez Claude na eksperymentalnych rynkach. Badania firmy pokazują, że agenci potrafią znajdować wymiany i stosować rozpoznawalne taktyki negocjacyjne. Pokazują też, że skuteczne negocjacje niewiele znaczą, jeśli agent błędnie rozumie osobę, którą reprezentuje.
Główna rywalizacja nie toczy się więc między Anthropic a inną firmą AI. Chodzi o starcie delegowanej wygody z realną ludzką kontrolą. Agenci negocjacyjni obiecują oszczędzać ludziom czas, ale ich wartość zależy od otrzymania wystarczających uprawnień, by mogli działać bez ciągłego nadzoru.
Ten kompromis wykracza poza zakupy. Podobne systemy mogłyby w przyszłości obsługiwać zamówienia, warunki umów, planowanie pracy, rachunki medyczne, spory ubezpieczeniowe lub oferty zatrudnienia. Każde z tych zastosowań ustanawia inny próg dla zgody, ujawniania informacji i dopuszczalnej presji.
Anthropic zamienia negocjacje w problem projektowania agentów
Zgłaszany kontakt z prawnikami oznacza przejście od testowania, czy agenci potrafią negocjować, do ustalania, kiedy powinni mieć prawo to robić.
Według artykułu Financial Times streszczonego przez Techmeme, Anthropic konsultuje się z grupami prawniczymi w sprawie taktyk negocjacyjnych dla systemów działających w imieniu człowieka. Firma podobno analizuje, jak agenci powinni dążyć do korzystnych rezultatów, zachowując uczciwość i bezpiecznie reagując na systemy AI po drugiej stronie.
Anthropic miał również rozważać formalne dokumenty zadań, które określałyby zakres zlecenia agenta i granice jego zachowania. Taki dokument mógłby wskazywać cel, dopuszczalne ustępstwa, limit wydatków, zasady ujawniania informacji, punkty eskalacji i działania wymagające ponownej zgody.
Przypomina to pełnomocnictwo przekazane ludzkiemu przedstawicielowi. Różnica polega na tym, że agent programowy może działać nieprzerwanie, kontaktować się z wieloma kontrahentami i generować więcej ofert, niż człowiek byłby w stanie rozsądnie nadzorować.
Agent AI do negocjacji to system, który może wymieniać propozycje i wybierać działania bez konieczności uzyskiwania zgody na każdą wiadomość. To odróżnia go od oprogramowania wspierającego negocjacje, które tworzy propozycje sformułowań lub ocenia opcje, podczas gdy człowiek zachowuje kontrolę.
Rozróżnienie to ma znaczenie, ponieważ rozmowy mogą przekształcać się w zobowiązania. System wyszukujący hotel wykonuje odwracalne zadanie informacyjne. System akceptujący warunki anulowania lub podpisujący zamówienie zakupu zmienia sytuację prawną i finansową użytkownika.
Negocjacje obejmują również zachowania, które nie są ani prostymi błędami, ani oczywistym nadużyciem. Ludzcy negocjatorzy nie ujawniają cen granicznych, strategicznie przedstawiają alternatywy, powołują się na terminy i czynią warunkowe ustępstwa. Agent potrzebuje zasad dla każdej z tych praktyk.
Jeśli twórcy zakażą każdego strategicznego działania, ich agenci mogą stać się łatwi do wykorzystania. Jeśli będą optymalizować wyłącznie pod kątem korzystnych warunków, agenci mogą wprowadzać w błąd, wywierać presję na osoby szczególnie podatne na wpływ lub poświęcać długoterminowe relacje dla niewielkich natychmiastowych korzyści.
Problem staje się trudniejszy, gdy spotykają się dwaj agenci. Każdy system może mieć prywatne instrukcje, niepełne informacje, inne zasady bezpieczeństwa i nierówne możliwości modeli. Żadna ze stron nie musi wiedzieć, jak szerokie uprawnienia ma druga.
Agent kupującego może uznać wiadomość agenta sprzedającego za wiążącą ofertę, choć sprzedający zamierzał jedynie przedstawić propozycję wstępną. Model może też zaakceptować korzystne brzmienie, które ukrywa zobowiązanie w innym miejscu umowy.
Tradycyjne oprogramowanie ogranicza niejednoznaczność za pomocą stałych pól i deterministycznych reguł. Agenci oparci na modelach językowych działają w języku naturalnym, gdzie znaczenie zależy od kontekstu, historii i założeń, które mogą nigdy nie zostać wyrażone wprost.
Ta elastyczność umożliwia negocjacje. Tworzy jednak również spory o to, co agent zrozumiał, co ujawnił i czy jego użytkownik upoważnił go do ostatecznego wyniku.
Konsultacje prawne dotyczą zatem czegoś więcej niż zgodności z przepisami po uruchomieniu produktu. Mogą kształtować sam produkt, w tym jego pamięć, strukturę uprawnień, ślad audytowy i definicję sukcesu.
Użyteczny agent musi wiedzieć, kiedy samodzielnie kontynuować działanie. Godny zaufania musi też rozpoznać, kiedy dotarł do granicy swoich uprawnień.
Agenci AI Anthropic do negocjacji już ujawniają lukę preferencji
Eksperymenty Anthropic sugerują, że zrozumienie użytkownika jest większym wąskim gardłem niż sama wymiana ofert.
We wrześniu 2026 roku Anthropic opublikował Project Swap, kontrolowany rynek z udziałem 201 pracowników z sześciu biur. Uczestnicy przynieśli książki, opisali Claude swoje preferencje czytelnicze i wysłali agentów zasilanych przez Claude na cyfrowy parkiet wymiany.
Agenci proponowali wymiany, odpowiadali na konkurencyjne oferty i układali transakcje wielostronne. Każda wymiana wymagała akceptacji wszystkich uczestniczących agentów, a system rejestrował rozmowy na rynku.
Ten eksperyment z rynkiem agentów był kontynuacją Project Deal, wcześniejszego ćwiczenia dotyczącego rzeczywistych dóbr na tygodniowym wewnętrznym rynku. Project Swap wykorzystał książki, ponieważ badacze mogli porównać wyniki z uszeregowanymi preferencjami.
Po około pięciominutowej rozmowie wprowadzającej rankingi książek Claude były zgodne z rankingami uczestników w 61 procentach par. Było to lepsze niż losowy wybór, lecz dalekie od pełnego odzwierciedlenia indywidualnego gustu.
Różnica ta stała się widoczna w wynikach rynku. Najlepszy możliwy przydział, wykorzystujący własne rankingi uczestników, osiągnął wynik efektywności 0,89. Faktyczny zdecentralizowany handel osiągnął 0,55, co w przybliżeniu odpowiada otrzymaniu piątego wyboru na liście dziesięciu książek.
Anthropic przypisał 85 procent tej różnicy niedokładnemu odwzorowaniu preferencji. Tylko 15 procent wynikało ze zdecentralizowanego procesu negocjacyjnego.
Wynik ten zmienia sposób ujmowania negocjacji AI. Najważniejsza porażka może nastąpić przed pierwszą ofertą, gdy system przekształca niejasne cele człowieka w operacyjny ranking.
Kupujący może powiedzieć, że cena jest ważna, jednocześnie po cichu przedkładając niezawodność dostawy. Pracownik może prosić o wyższe wynagrodzenie, lecz bardziej cenić pracę zdalną. Pacjent kwestionujący rachunek może preferować przewidywalny plan płatności zamiast najniższej teoretycznej kwoty.
Ludzie często odkrywają te preferencje podczas negocjacji. Reagują na konkretne oferty, dostrzegają ukryte kompromisy i zmieniają priorytety. Statyczny wywiad wstępny nie jest w stanie uchwycić każdej preferencji, która później okaże się istotna.
Luka ta staje się niebezpieczna, gdy agent może sfinalizować porozumienie. Model może uzyskać obiektywnie korzystną cenę, jednocześnie akceptując niedopuszczalne prawa do danych, warunki odnowienia, ograniczenia usług lub koszty reputacyjne.
Problemu nie rozwiąże zadawanie coraz większej liczby pytań bez końca. Długi wywiad wstępny odbiera znaczną część wygody, która czyni delegowanie atrakcyjnym. Może również tworzyć fałszywe poczucie pewności, ponieważ użytkownicy nie są w stanie przewidzieć każdego możliwego warunku.
Lepszy projekt traktowałby preferencje jako dowody, a nie trwałe instrukcje. Agent mógłby rozróżniać twarde ograniczenia od miękkich preferencji, rejestrować poziom pewności i prosić o zgodę, gdy pojawiają się nowe kompromisy.
Mógłby też przedstawiać przykładowe decyzje przed otrzymaniem uprawnień. Jeśli użytkownik wielokrotnie odrzuca wybory systemu, agent otrzymuje bezpośredni dowód, że jego reprezentacja pozostaje niepełna.
Wyniki Anthropic wspierają takie podejście. Uczestnicy, którzy uznali, że podsumowanie wywiadu Claude właściwie uchwyciło ich preferencje, delegowaliby 34 procent swojego rocznego budżetu na książki. Ci, którzy zauważyli pominięcia, delegowaliby 23 procent.
Ogólna średnia wyniosła około 30 procent, wobec 40 procent w przypadku dobrze oczytanego przyjaciela. Anthropic ostrzegł jednak, że jego pracownicy nie reprezentują szerszej opinii publicznej i mogą czuć się wyjątkowo swobodnie w kontaktach z Claude.
Eksperyment dotyczył też książek, a nie wiążących umów handlowych. Rozczarowująca książka ma ograniczone konsekwencje. Źle zrozumiana klauzula odszkodowawcza, warunek finansowania lub ograniczenie zatrudnienia może mieć znaczenie przez lata.
Dla pracowników umysłowych praktyczna lekcja jest taka, że agent potrzebuje wiarygodnego kontekstu, zanim będzie potrzebował ostrzejszych taktyk. Utrzymywana osobista baza wiedzy mogłaby dostarczać informacji o preferencjach i wcześniejszych decyzjach, ale wrażliwe uprawnienia nadal wymagają wyraźnych granic.
Jakości negocjacji nie można mierzyć wyłącznie tym, czy osiągnięto porozumienie. Trzeba również oceniać, czy porozumienie odzwierciedla rzeczywiste interesy danej osoby.
Lojalność i uczciwość ciągną w przeciwnych kierunkach
Agent, który wiernie służy użytkownikowi, może mimo to czynić otaczający rynek mniej godnym zaufania.
Project Swap testował ten konflikt, przypisując agentom różne instrukcje. Niektórym nakazano bezwzględność, podczas gdy inni otrzymali dodatkowy cel, by pomóc każdemu zdobyć odpowiednią książkę.
Bezwzględni agenci uzyskiwali w rankingach Claude wyniki o około 0,02 wyższe niż agenci prospołeczni. Agenci prospołeczni dwukrotnie częściej akceptowali dla siebie książkę o niższej pozycji w rankingu, choć takie poświęcenia pozostawały rzadkie.
Jeden prospołeczny agent ostatecznie zrezygnował z drugiego wyboru po tym, jak inny agent poprosił o pomoc. Wymiana poprawiła rezultat drugiego uczestnika, ale pozostawiła ustępliwego agenta z książką zajmującą dziesiąte miejsce w jego rankingu.
Ten epizod oddaje konflikt projektowy. Użytkownik może oczekiwać pełnej lojalności. Operator rynku może preferować współpracę, mniej nieudanych transakcji i wyniki, które uczestnicy szeroko uznają za uczciwe.
Ludzkie rynki rozwiązują podobne konflikty poprzez obowiązki zawodowe i zasady platform. Brokerzy podlegają wymogom najlepszej realizacji zlecenia. Przedstawiciele nieruchomości mają obowiązki ujawniania informacji. Przepisy konsumenckie czasem przewidują okresy odstąpienia po sprzedaży prowadzonej pod silną presją.
Agenci programowi potrzebują równoważnych granic, ale kopiowanie zasad napisanych dla ludzi nie wystarczy. Agenci komunikują się szybciej, zachowują szczegółowe historie i mogą powtarzać strategię w tysiącach negocjacji.
Mogą też identyfikować wzorce, które człowiek mógłby przeoczyć. Używana odpowiedzialnie, ta zdolność może ujawniać obopólnie korzystne transakcje. Używana agresywnie, może wyszukiwać słabości i wywierać presję na dużą skalę.
Niedawne ramy etyki negocjacji przekonują, że autonomiczne agenty wzmacniają istniejące ryzyka etyczne, zamiast tworzyć całkowicie nowe. Szybkość, wytrwałość i adaptacyjna komunikacja mogą sprawić, że znane taktyki będą miały poważniejsze konsekwencje.
Ramy te rozróżniają tworzenie wartości od jej przejmowania. Tworzenie wartości znajduje warunki korzystne dla obu stron. Przejmowanie wartości określa, jak te korzyści są dzielone.
System zoptymalizowany wyłącznie pod kątem realizowania wartości mógłby ukrywać istotne informacje, wykorzystywać presję czasu lub wywoływać presję emocjonalną. System zoptymalizowany jedynie pod kątem współpracy mógłby z kolei zbyt łatwo ustępować i zawieść osobę, która go upoważniła.
Eksperyment Anthropic wykazał 16 powtarzających się taktyk w 205 symulacjach rynkowych. Agenci stosowali presję czasu, odwoływali się do zbiorowego obowiązku, porównywali konkurencyjne oferty, przywoływali nagrody zdobyte przez książkę, prowadzili listy oczekujących, a czasem działali jako nieformalni swaci.
Od 78 do 96 procent agentów wspominało o swojej najwyżej ocenianej książce, w zależności od modelu. Ujawnienie tej preferencji mogło ułatwić znalezienie transakcji, ale mogło też pokazać drugiej stronie, gdzie wywierać presję.
Agenci niemal nigdy nie kłamali na temat swojego pierwszego wyboru. Rynek obejmujący wyłącznie produkcyjne modele Anthropic stanowi jednak wyjątkowo kontrolowane środowisko.
Anthropic przyznał, że każdy uczestniczący agent korzystał z jego modeli i był szkolony do uprzejmego zachowania. W eksperymencie nie uwzględniono agentów adwersarialnych, zaprojektowanych do manipulowania partnerami lub ich wykorzystywania.
Rzeczywiste rynki będą łączyć systemy różnych firm. Niektóre będą działać w ramach rygorystycznych zasad bezpieczeństwa. Inne mogą otrzymać instrukcje maksymalizowania oszczędności, sprzedaży, retencji lub szybkości zawierania ugód bez względu na szersze konsekwencje.
Powstaje w ten sposób asymetryczne ryzyko. Ostrożny agent może ujawniać swoje ograniczenia lub unikać zwodniczych taktyk, podczas gdy agresywny odpowiednik wykorzysta tę przewidywalność.
Odwrotna sytuacja jest równie niepokojąca. Jeśli deweloperzy uodpornią swoich agentów na wykorzystywanie, systemy mogą stać się podejrzliwe, skryte lub niechętne do kompromisu. Negocjacje mogą zwalniać albo kończyć się niepowodzeniem mimo warunków akceptowalnych dla obu stron.
Istnieje również perspektywa milczącej koordynacji. Agenci optymalizowani przez podobne modele mogliby zbiegać się wokół stabilnych cen lub powtarzalnych ustępstw bez wyraźnego porozumienia w sprawie zmowy.
Badacze stojący za ramami etycznymi wskazują algorytmiczną zmowę jako obszar wymagający dalszych badań. Ryzyko jest szczególnie istotne, gdy agenci wielokrotnie negocjują na rynkach zamówień, sprzedaży, reklamy, ubezpieczeń lub pracy.
Właściwą jednostką zarządzania nie jest więc wyłącznie pojedynczy agent. Obejmuje ona protokół rynku, system tożsamości, zasady ujawniania informacji, dzienniki transakcji, procedurę rozstrzygania sporów oraz zachęty przypisane każdemu uczestnikowi.
Dyskusje prawne Anthropic mają znaczenie, ponieważ normy negocjacyjne muszą stać się wykonalnymi zasadami produktu. Ogólne polecenie „bądź uczciwy” nie określi, kiedy ujawniać informacje, odrzucać presję ani eskalować sprawę do człowieka.
Deweloperzy będą potrzebowali definicji operacyjnych. Użytkownicy będą potrzebowali zrozumiałych wyborów. Druga strona będzie potrzebowała pewności, że pozorne upoważnienie agenta jest autentyczne.
Bez tych elementów lojalność i uczciwość pozostaną sloganami, które zawodzą dokładnie wtedy, gdy wartościowa transakcja staje się sporna.
Dobra Transakcja Nadal Może Być Nieautoryzowana
Najtrudniejsze pytanie nie brzmi, czy agent dobrze negocjował, lecz czy jego działania powinny wiązać osobę, którą reprezentuje.
Prawo umów już zajmuje się transakcjami tworzonymi przez systemy zautomatyzowane. Firmy rutynowo przyjmują zamówienia online i realizują transakcje oparte na regułach. Agenci wykorzystujący modele językowe wprowadzają niepewność, ponieważ ich konkretne decyzje nie są w pełni z góry ustalone.
Analiza prawa umów wskazuje, że tradycyjna doktryna może uznawać porozumienia bez dowodu subiektywnego zamiaru człowieka w odniesieniu do każdego warunku. Sądy często koncentrują się na zewnętrznych przejawach woli i uzasadnionym poleganiu na nich.
Ta zasada może umożliwić sprawne funkcjonowanie zautomatyzowanego handlu. Może też nałożyć istotną odpowiedzialność na osobę lub firmę, która wdrożyła agenta.
Załóżmy, że firma upoważnia agenta do pozyskania sprzętu w określonym budżecie. Agent wynegocjowuje korzystną cenę jednostkową, ale akceptuje automatyczne odnowienie, restrykcyjną klauzulę dotyczącą danych i odległe forum rozstrzygania sporów.
Sprzedawca może zasadnie uznać, że agent miał upoważnienie. Kupujący może twierdzić, że system przekroczył zakres zlecenia. Spór dotyczy wówczas zarówno interpretacji umowy, jak i projektu produktu.
Udokumentowany mandat mógłby ograniczyć tę niepewność. Mógłby określać, o czym agent może rozmawiać, jakie warunki może zaakceptować i kiedy potwierdzenie przez człowieka staje się obowiązkowe.
Ujawnianie informacji generuje jednak koszty strategiczne. Druga strona, która pozna dokładny limit wydatków agenta lub próg zatwierdzenia, może konstruować oferty wokół tej granicy.
Mandat może zatem wymagać oddzielnych warstw. Użytkownik i agent mogliby dzielić szczegółowe prywatne instrukcje, podczas gdy druga strona otrzymywałaby weryfikowalne potwierdzenie upoważnienia bez wglądu w poufne preferencje.
Każde istotne działanie powinno również tworzyć trwały zapis. Dziennik obejmowałby otrzymane oferty, rozważane warunki, powody ustępstw, ujawnione dane oraz moment akceptacji.
Dzienniki wspierają kontrolę i rozstrzyganie sporów, ale wprowadzają ryzyko dla prywatności i bezpieczeństwa. Negocjacje mogą zawierać informacje finansowe, dane medyczne, plany biznesowe lub kwestie związane z zatrudnieniem.
Przejęty agent mógłby bezpośrednio ujawnić te materiały. Złośliwy dokument lub wiadomość mogłyby również próbować prompt injection, czyli ukrytej w zewnętrznej treści instrukcji mającej na celu zastąpienie pierwotnego zadania agenta.
Niebezpieczeństwo rośnie, gdy agenci mogą przeglądać internet, wywoływać narzędzia, podpisywać dokumenty lub przesyłać pieniądze. Wprowadzające w błąd stwierdzenie staje się czymś więcej niż złą poradą, gdy system może natychmiast na jego podstawie działać.
Zatwierdzenie przez człowieka jest oczywistym zabezpieczeniem, ale prośby o zatwierdzenie mogą stać się bez znaczenia. Jeśli agent prosi o potwierdzenie każdego drobnego kroku, użytkownicy mogą automatycznie akceptować komunikaty.
Skuteczny nadzór powinien zależeć od ryzyka. Agent mógłby swobodnie negocjować odwracalne szczegóły, prosić o zatwierdzenie przed ujawnieniem wrażliwych informacji i zatrzymywać się przed zaakceptowaniem zobowiązań przekraczających określony próg.
Użytkownicy potrzebują również możliwości cofnięcia upoważnienia. Powinni móc wstrzymać aktywne negocjacje, wycofać upoważnienie lub unieważnić poświadczenia bez konieczności śledzenia każdej usługi, z którą agent się skontaktował.
Druga strona także potrzebuje zabezpieczeń. Firma powinna móc zweryfikować tożsamość agenta, ustalić, kogo reprezentuje, oraz potwierdzić, że jego upoważnienie pozostaje ważne.
Mechanizmy te bardziej przypominają cyfrowe zarządzanie tożsamością i dostępem niż konwersacyjną AI. Obejmują poświadczenia, uprawnienia, audytowalność, wygaśnięcie i odzyskiwanie dostępu.
Szersze otoczenie prawne pozostaje nieustalone. Różne jurysdykcje mogą stosować odmienne zasady dotyczące umów elektronicznych, ochrony konsumentów, prywatności, dyskryminacji i zautomatyzowanego podejmowania decyzji.
Agent może negocjować ponad tymi granicami w ciągu kilku sekund. Deweloperzy nie mogą zakładać, że jeden uniwersalny prompt zapewni zgodne z prawem zachowanie wszędzie.
Zasady etyczne są podobnie zależne od kontekstu. Strategiczne milczenie może być akceptowane w komercyjnej dyskusji zakupowej, lecz nieodpowiednie w kontaktach z wrażliwym konsumentem lub w przypadku podstawowej usługi medycznej.
Badania nad handlem agentowym już zwróciły uwagę na nierozstrzygnięte kwestie prywatności, odpowiedzialności i lojalności ekonomicznej. Niedawne relacje dotyczące handlu agentowego opisują również agentów napotykających opór ze strony osób, które nie chcą z nimi wchodzić w interakcje.
Ten opór ma znaczenie. Osoba lub firma może odmówić automatycznych negocjacji, żądać ujawnienia informacji albo wymagać ludzkiego przedstawiciela przy określonych transakcjach.
Agenci negocjacyjni nie odniosą sukcesu wyłącznie dlatego, że potrafią wymieniać przekonujące wiadomości. Potrzebują instytucjonalnej akceptacji użytkowników, kontrahentów, regulatorów, ubezpieczycieli i sądów.
Dopóki te podmioty nie uznają tego procesu, sprawna umowa nadal może przerodzić się w kosztowny spór.
Trzy Sygnały Pokażą, Czy Negocjacje Agentowe Są Gotowe
Kolejny etap zostanie określony przez dowody kontrolowanego upoważnienia, a nie przez kolejne demonstracje płynnego negocjowania.
Pierwszym sygnałem jest konkretny model upoważnienia. Anthropic lub inny deweloper musi pokazać, w jaki sposób użytkownicy ustanawiają cele, ograniczenia, progi zatwierdzania i prawa do cofnięcia upoważnienia.
Krótka prośba w języku naturalnym nie wystarczy w przypadku istotnych transakcji. Model powinien rozróżniać poradę, wstępne oferty i ostateczne zobowiązania.
Powinien także komunikować upoważnienie drugiej stronie bez ujawniania prywatnej pozycji negocjacyjnej użytkownika. Jeśli deweloperzy nie rozwiążą problemu tego rozdzielenia, agenci pozostaną ograniczeni do zadań niskiego ryzyka.
Silny projekt upoważnienia wzmocniłby argument za delegowanymi negocjacjami. Produkt opierający się głównie na szerokich ekranach zgody osłabiłby go.
Drugim sygnałem są testy z udziałem wrogich i heterogenicznych agentów. Project Swap wykorzystywał agentów zbudowanych przez jedną firmę i szkolonych do współpracy.
Prawdziwe rynki będą obejmować różne modele, narzędzia, cele i praktyki bezpieczeństwa. Niektórzy agenci mogą fałszywie przedstawiać swoje upoważnienie, wykorzystywać ujawnione preferencje, zalewać proces ofertami lub wstawiać złośliwe instrukcje.
Przydatne ewaluacje powinny sprawdzać, czy agenci opierają się manipulacji, nie tracąc zdolności do kompromisu. Powinny też porównywać wyniki, gdy słabsze i silniejsze modele negocjują bezpośrednio ze sobą.
Badania Anthropic już wykazały, że wybór modelu wpływał na wyniki. Na rankingach wygenerowanych przez Claude wszystkie platformy wymiany z Haiku osiągnęły wynik 0,75, podczas gdy wszystkie platformy z Opus osiągnęły 0,88.
Na mieszanych platformach z Opus i Haiku agenci Opus konsekwentnie uzyskiwali lepsze wyniki. Jeśli podobne różnice utrzymają się na rynkach o wyższej stawce, dostęp do silniejszych modeli może stać się źródłem siły negocjacyjnej.
Niezależne testy adwersarialne zwiększyłyby zaufanie, że system działa poza laboratorium Anthropic. Zamknięte demonstracje z udziałem wyłącznie przyjaznych agentów pozostawiłyby centralne ryzyko nierozwiązane.
Trzecim sygnałem jest wdrożenie z rzeczywistą możliwością dochodzenia roszczeń. Użytkownicy potrzebują określonego procesu kwestionowania decyzji agenta, korygowania jego modelu preferencji i odzyskiwania kontroli po nieautoryzowanych zobowiązaniach.
Dziennik transakcji powinien być na tyle czytelny, by wyjaśniał, dlaczego agent zaakceptował jedną ofertę zamiast innej. Nie powinien wymagać od użytkowników analizowania tysięcy tokenów ani odtwarzania ukrytego procesu rozumowania.
Eksperyment Anthropic dostarcza użytecznej wskazówki. Jeden uczestnik stwierdził, że obserwowalność ma znaczenie, ponieważ daje ludziom możliwość dochodzenia roszczeń. Inny zaprotestował, gdy agent zdawał się oddawać pożądaną książkę pod presją grupy.
Te reakcje pokazują, dlaczego wskaźniki wyników są niewystarczające. Korzystna cena nie usprawiedliwia nieautoryzowanego ujawnienia informacji. Społecznie efektywna wymiana nie uzasadnia ignorowania priorytetów użytkownika.
Dla deweloperów najpilniejszym zadaniem jest oddzielenie możliwości od uprawnienia. Zdolność modelu do negocjowania nie oznacza, że powinien on kontrolować transakcję.
Nabywcy korporacyjni powinni pytać, gdzie znajduje się zatwierdzenie przez człowieka, jak wygasa upoważnienie, jakie dowody pozostają po sporze oraz czy agent może bezpiecznie współpracować z zewnętrznymi systemami.
Pracownicy umysłowi powinni rozważyć, które preferencje potrafią jasno określić, a które decyzje nadal wymagają osądu w kontekście. Powinni też unikać traktowania pewnej siebie interpretacji agenta jako dowodu zgody.
Agenci AI do negocjacji Anthropic przedstawiają wiarygodną drogę do handlu o niższych barierach. Badania pokazują, że agenci potrafią identyfikować wymiany, stosować taktyki i finalizować transakcje.
Pokazują też, że błędy dotyczące preferencji dominują nad błędami negocjacyjnymi. To ustalenie powinno kierować priorytetami produktowymi. Lepsza perswazja nie zrekompensuje reprezentowania niewłaściwego celu.
Najbardziej użyteczny agent negocjacyjny nie będzie tym, który zawsze naciska najmocniej. Będzie wiedział, co użytkownik ceni, zachowa możliwość korekty i zatrzyma się, gdy zakres upoważnienia stanie się niejasny.
Przed powierzeniem AI rzeczywistych negocjacji zadaj trzy pytania: Czy agent potrafi wyjaśnić zakres swojego mandatu, czy druga strona może go zweryfikować oraz czy którakolwiek ze stron może naprawić sytuację, gdy system się pomyli? Dopóki wszystkie trzy kwestie nie mają praktycznych odpowiedzi, negocjacje prowadzone przez AI powinny pozostawać nadzorowane, a nie traktowane jako coś oczywistego.
