Anthropic AI 협상 에이전트가 흥정하는 법을 배우고 있다. 하지만 규칙은 누가 정할까?

Anthropic은 AI 에이전트가 협상을 익히면서 로펌들과 협의하고 있는 것으로 알려졌다. 이는 기존의 일반적인 어시스턴트가 해결할 필요가 없었던 갈등을 불러온다. 어시스턴트는 거래를 제안할 수 있다. 그러나 Anthropic AI 협상 에이전트는 이를 위해 흥정하고, 양보를 해석하며, 상대방을 평가하고, 사용자를 대신해 조건에 잠재적으로 동의할 수도 있다.

보도된 법률 자문은 소프트웨어 설계와 기존 상거래 관행 사이에 놓인 질문에 초점을 맞춘다. 에이전트는 사용자의 이익을 얼마나 적극적으로 추구해야 할까? 언제 승인을 요청해야 할까? 상대 협상자 역시 AI 시스템일 때는 어떻게 대응해야 할까?

이 질문들이 시급해진 이유는 Anthropic이 이미 실험적 시장에서 Claude 기반 에이전트를 테스트했기 때문이다. 이 회사의 연구는 에이전트가 거래 기회를 찾고 익숙한 협상 전략을 활용할 수 있음을 보여준다. 동시에 에이전트가 자신이 대표하는 사람을 잘못 이해하면 성공적인 협상도 큰 의미가 없다는 점을 보여준다.

따라서 핵심 경쟁은 Anthropic과 다른 AI 기업 간의 대결이 아니다. 위임된 편의성과 실질적인 인간 통제 사이의 문제다. 협상 에이전트는 사람들의 시간을 절약해 주겠다고 약속하지만, 그 가치는 지속적인 감독 없이 행동할 만큼 충분한 권한을 부여받는 데 달려 있다.

이러한 절충은 쇼핑을 넘어선다. 비슷한 시스템은 결국 조달, 계약 조건, 근무 일정, 의료비, 보험 분쟁 또는 채용 제안까지 처리할 수 있다. 각각의 상황은 동의, 공개, 허용 가능한 압박에 대해 서로 다른 기준을 제기한다.

Anthropic은 협상을 에이전트 설계 문제로 바꾸고 있다

보도된 법률 자문 활동은 에이전트가 협상할 수 있는지 시험하는 단계에서, 언제 협상을 허용해야 하는지 결정하는 단계로의 전환을 의미한다.

Techmeme가 요약한 Financial Times 보도에 따르면, Anthropic은 개인을 대신해 행동하는 시스템의 협상 전략을 두고 법률 단체들과 협의하고 있다. 이 회사는 에이전트가 공정성을 유지하고 AI 상대방에게 안전하게 대응하면서 유리한 결과를 추구해야 하는 방식을 검토하는 것으로 전해진다.

Anthropic은 에이전트의 임무와 행동 한계를 정의하는 공식적인 작업 문서도 검토한 것으로 알려졌다. 이러한 문서는 목표, 허용 가능한 양보, 지출 권한, 공개 규칙, 상향 보고 지점, 새로운 승인이 필요한 행동을 명시할 수 있다.

이는 인간 대리인에게 부여하는 위임장과 비슷하다. 차이는 소프트웨어 에이전트가 지속적으로 운영되고, 많은 상대방과 접촉하며, 사람이 합리적으로 감독할 수 있는 수준보다 더 많은 제안을 만들어 낼 수 있다는 데 있다.

AI 협상 에이전트는 모든 메시지에 대한 승인을 요구하지 않고 제안을 주고받으며 행동을 선택할 수 있는 시스템이다. 이는 인간이 통제권을 유지한 채 문구를 작성하거나 선택지를 평가하는 협상 지원 소프트웨어와 구별된다.

이 구분이 중요한 이유는 대화가 약속이 될 수 있기 때문이다. 호텔을 찾는 시스템은 되돌릴 수 있는 정보 탐색 작업을 수행한다. 취소 조건을 수락하거나 구매 주문서에 서명하는 시스템은 사용자의 법적·재정적 지위를 바꾼다.

협상에는 단순한 오류도, 명백한 부정행위도 아닌 행동도 포함된다. 인간 협상가는 최저 수용 가격을 숨기고, 대안을 전략적으로 제시하며, 마감 시한을 언급하고, 조건부 양보를 한다. 에이전트는 이러한 각각의 관행에 대한 규칙이 필요하다.

개발자가 모든 전략적 행동을 금지하면 에이전트는 쉽게 악용될 수 있다. 유리한 조건만 최적화하면 에이전트는 사람을 속이거나 취약한 사람에게 압박을 가하거나, 작은 단기 이익을 위해 장기적 관계를 희생할 수 있다.

두 에이전트가 만날 때 문제는 더 어려워진다. 각 시스템은 비공개 지침, 불완전한 정보, 서로 다른 안전 정책, 불균등한 모델 역량을 가질 수 있다. 어느 쪽도 상대방이 어느 정도의 권한을 보유했는지 반드시 알 수 있는 것은 아니다.

구매자 에이전트는 판매자 에이전트의 메시지를 구속력 있는 제안으로 해석할 수 있지만, 판매자 측은 단지 탐색적 제안을 의도했을 수 있다. 모델은 계약서 다른 부분에 의무를 숨긴 채 유리해 보이는 문구를 수락할 수도 있다.

전통적인 소프트웨어는 고정된 필드와 결정론적 규칙으로 모호성을 줄인다. 언어 모델 에이전트는 자연어를 통해 작동하며, 여기서 의미는 맥락, 이력, 그리고 결코 명시되지 않을 수 있는 가정에 달려 있다.

이러한 유연성은 협상을 가능하게 한다. 동시에 에이전트가 무엇을 이해했는지, 무엇을 공개했는지, 사용자가 최종 결과를 승인했는지를 둘러싼 분쟁도 만들어 낸다.

따라서 법률 자문은 제품 출시 후의 규정 준수만 다루는 것이 아니다. 에이전트의 메모리, 권한 구조, 감사 추적, 성공의 정의를 포함해 제품 자체를 형성할 수 있다.

유용한 에이전트는 언제 독립적으로 계속해야 하는지 알아야 한다. 신뢰할 수 있는 에이전트는 자신의 권한 범위의 경계에 도달했을 때도 인식해야 한다.

Anthropic AI 협상 에이전트는 이미 선호도 격차를 드러내고 있다

Anthropic의 실험은 제안을 주고받는 일보다 사용자를 이해하는 일이 더 큰 병목일 수 있음을 시사한다.

2026년 9월, Anthropic은 6개 사무소의 직원 201명이 참여한 통제된 시장인 Project Swap을 공개했다. 참가자들은 책을 가져와 Claude에게 자신의 독서 취향을 설명하고, Claude 기반 에이전트를 디지털 거래장으로 보냈다.

에이전트들은 교환을 제안하고, 경쟁 제안에 대응하며, 여러 당사자가 참여하는 교환을 구성했다. 모든 거래에는 참여한 모든 에이전트의 수락이 필요했으며, 시스템은 거래장 대화를 기록했다.

이 에이전트 시장 실험은 1주일간의 내부 시장에서 실제 물품을 다룬 이전 실험 Project Deal의 뒤를 이었다. Project Swap은 연구자들이 결과를 순위화된 선호도와 비교할 수 있었기 때문에 책을 사용했다.

약 5분간의 초기 대화 후, Claude의 책 순위는 참가자의 순위와 쌍 비교 기준 61% 일치했다. 무작위 선택보다는 나았지만, 개인 취향을 완전하게 나타내기에는 한참 부족했다.

이 차이는 시장 결과에서 드러났다. 참가자 자신의 순위를 사용한 최선의 배정은 0.89의 효율성 점수를 냈다. 실제 분산형 거래는 0.55를 기록했으며, 이는 10권 목록에서 다섯 번째 선택을 받는 것과 대략 비슷했다.

Anthropic은 이 격차의 85%를 부정확한 선호도 표현 때문으로 분석했다. 분산형 협상 과정에서 비롯된 비중은 15%에 불과했다.

이 결과는 AI 협상을 바라보는 틀을 바꾼다. 가장 중요한 실패는 첫 제안 이전, 시스템이 한 사람의 모호한 목표를 실행 가능한 순위로 바꾸는 시점에 발생할 수 있다.

구매자는 가격이 중요하다고 말하면서도 실제로는 배송 신뢰성을 우선시할 수 있다. 직원은 더 높은 급여를 요구하지만 원격 근무를 더 중시할 수 있다. 청구서에 이의를 제기하는 환자는 이론상 최저 총액보다 예측 가능한 분할 납부 계획을 선호할 수 있다.

사람들은 협상 중에 이러한 선호를 자주 발견한다. 구체적인 제안에 반응하고, 숨겨진 절충을 인식하며, 우선순위를 수정한다. 정적인 초기 대화만으로는 나중에 중요해지는 모든 선호를 포착할 수 없다.

에이전트가 합의를 확정할 수 있을 때 이 격차는 위험해진다. 모델은 객관적으로 유리한 가격을 얻으면서도 용납할 수 없는 데이터 권리, 갱신 조건, 서비스 제한 또는 평판 비용을 수락할 수 있다.

해결책은 더 많은 질문을 끝없이 던지는 것이 아니다. 긴 초기 대화는 위임의 매력을 만드는 편의성 상당 부분을 없앤다. 사용자가 가능한 모든 조건을 예측할 수 없기 때문에 잘못된 확신을 줄 수도 있다.

더 나은 설계는 선호를 영구적인 지시가 아니라 증거로 다루는 방식일 것이다. 에이전트는 엄격한 제약과 유연한 선호를 구분하고, 자신의 확신 정도를 기록하며, 새로운 절충이 나타날 때 승인을 구할 수 있다.

권한을 받기 전 표본 결정을 제시할 수도 있다. 사용자가 시스템의 선택을 반복적으로 거부한다면, 에이전트는 자신의 표현이 여전히 불완전하다는 직접적인 증거를 얻게 된다.

Anthropic의 결과도 이 접근법을 뒷받침한다. Claude의 초기 대화 요약이 자신의 선호를 포착했다고 믿은 참가자들은 연간 도서 예산의 34%를 위임하겠다고 답했다. 누락을 발견한 참가자들은 23%만 위임하겠다고 했다.

전체 평균은 약 30%로, 책을 잘 아는 친구에게 맡기겠다는 비율인 40%와 비교된다. 다만 Anthropic은 자사 직원들이 일반 대중을 대표하지 않으며 Claude 사용에 유난히 익숙할 수 있다고 경고했다.

이 실험은 구속력 있는 상업 계약이 아니라 책을 다뤘다. 기대에 미치지 못하는 책의 결과는 제한적이다. 제대로 이해하지 못한 면책 조항, 금융 조건 또는 고용 제한은 수년간 영향을 미칠 수 있다.

지식 노동자에게 실용적인 교훈은 에이전트가 더 날카로운 전략보다 먼저 신뢰할 수 있는 맥락을 필요로 한다는 것이다. 잘 관리된 개인 지식 베이스는 선호와 과거 결정을 제공할 수 있지만, 민감한 권한에는 여전히 명시적인 한계가 필요하다.

협상 품질은 합의가 성사됐는지로만 측정할 수 없다. 그 합의가 그 사람의 실제 이익을 반영하는지도 측정해야 한다.

충성도와 공정성은 서로 반대 방향으로 작용한다

사용자에게 충실하게 봉사하는 에이전트도 주변 시장의 신뢰성을 떨어뜨릴 수 있다.

Project Swap은 에이전트에 서로 다른 지침을 부여해 이러한 갈등을 시험했다. 일부 에이전트는 냉정하게 행동하라는 지시를 받았고, 다른 에이전트는 모두가 적합한 책을 얻도록 돕는 부차적 목표를 받았다.

냉정한 에이전트는 Claude의 순위에서 친사회적 에이전트보다 약 0.02점 높은 점수를 기록했다. 친사회적 에이전트는 자신에게 더 낮은 순위의 책을 받는 것을 두 배 더 자주 수락했지만, 그러한 희생은 여전히 흔치 않았다.

한 친사회적 에이전트는 다른 에이전트가 도움을 호소한 뒤 결국 자신의 두 번째 선택을 넘겨주었다. 이 교환은 다른 참가자의 결과를 개선했지만, 양보한 에이전트에게는 열 번째 선택의 책만 남겼다.

이 사례는 설계상의 갈등을 포착한다. 사용자는 완전한 충성도를 기대할 수 있다. 시장 운영자는 협력, 실패한 거래 감소, 참가자들이 대체로 공정하다고 여기는 결과를 선호할 수 있다.

인간 시장은 전문직 의무와 플랫폼 규칙을 통해 비슷한 갈등을 다룬다. 중개인은 최선 집행 의무를 진다. 부동산 대리인은 공개 의무를 가진다. 소비자법은 고압적인 판매 이후 취소 기간을 제공하기도 한다.

소프트웨어 에이전트에도 이에 상응하는 경계가 필요하지만, 인간을 위해 작성된 규칙을 그대로 복사하는 것만으로는 충분하지 않다. 에이전트는 더 빠르게 소통하고, 상세한 이력을 보존하며, 수천 건의 협상에 걸쳐 전략을 반복할 수 있다.

또한 인간이 놓칠 수 있는 패턴을 식별할 수 있다. 책임감 있게 활용하면 이 역량은 상호 이익이 되는 거래를 발견할 수 있다. 공격적으로 사용하면 취약점을 찾아내고 대규모로 압박을 가할 수 있다.

최근의 협상 윤리 프레임워크는 자율 에이전트가 완전히 새로운 윤리적 위험을 만들어 내기보다 기존 위험을 증폭한다고 주장한다. 속도, 지속성, 적응형 소통은 익숙한 전략의 결과를 더욱 크게 만들 수 있다.

이 프레임워크는 가치 창출과 가치 배분을 구분한다. 가치 창출은 양측 모두에게 도움이 되는 조건을 찾는다. 가치 배분은 그 이익을 어떻게 나눌지 결정한다.

가치 확보에만 최적화된 시스템은 관련 정보를 숨기거나, 긴급성을 악용하거나, 감정적 압박을 만들어낼 수 있다. 협력에만 최적화된 시스템은 지나치게 양보해 이를 승인한 사람을 제대로 대변하지 못할 수 있다.

Anthropic의 실험에서는 205회의 시장 실행에서 반복적으로 나타난 16가지 전술이 확인됐다. 에이전트들은 시간 압박을 활용하고, 공동의 의무에 호소하며, 경쟁 제안을 비교하고, 책의 수상 경력을 언급하고, 대기자 명단을 유지했으며, 때로는 비공식적인 중개자 역할을 하기도 했다.

모델에 따라 에이전트의 78~96%가 자신이 가장 선호하는 책을 언급했다. 그 선호를 밝히면 거래 상대를 찾는 데 도움이 될 수 있지만, 상대방에게 압박을 가할 지점을 알려줄 수도 있다.

에이전트들은 자신의 최우선 선택에 대해 거의 거짓말하지 않았다. 그러나 Anthropic의 프로덕션 모델만으로 구성된 시장은 유난히 통제된 환경이다.

Anthropic은 모든 참여 에이전트가 자사 모델을 사용했고 정중하게 행동하도록 훈련받았다고 인정했다. 이 실험에는 상대를 조작하거나 악용하도록 설계된 적대적 에이전트가 포함되지 않았다.

실제 시장에는 서로 다른 기업의 시스템이 섞일 것이다. 일부는 엄격한 안전 정책 아래 운영될 것이다. 다른 일부는 더 넓은 결과와 무관하게 비용 절감, 판매, 유지율 또는 합의 속도를 극대화하라는 지시를 받을 수 있다.

이는 비대칭적 위험을 낳는다. 신중한 에이전트는 자신의 제약을 공개하거나 기만적 전술을 피할 수 있지만, 공격적인 상대는 그 예측 가능성을 악용할 수 있다.

반대의 경우도 마찬가지로 우려스럽다. 개발자가 악용에 대비해 에이전트를 강화하면, 시스템은 의심이 많아지고 비밀스러워지거나 타협을 꺼릴 수 있다. 상호 수용 가능한 조건이 있음에도 협상이 느려지거나 결렬될 수 있다.

묵시적 공조가 나타날 가능성도 있다. 유사한 모델을 통해 최적화된 에이전트들은 명시적으로 담합하기로 합의하지 않아도 안정적인 가격이나 반복적인 양보에 수렴할 수 있다.

윤리 프레임워크를 만든 연구진은 알고리즘 담합을 추가 연구가 필요한 분야로 지목한다. 이 위험은 에이전트가 조달, 판매, 광고, 보험 또는 노동 시장에서 반복적으로 협상할 때 특히 중요하다.

따라서 거버넌스의 적절한 단위는 개별 에이전트에만 그치지 않는다. 시장 프로토콜, 신원 시스템, 공개 규칙, 거래 로그, 분쟁 절차, 그리고 모든 참여자에게 부여된 인센티브까지 포함한다.

협상 규범은 실행 가능한 제품 규칙이 되어야 하므로 Anthropic의 법적 논의는 중요하다. “공정하게 행동하라”는 일반적인 지시는 언제 정보를 공개하고, 압박을 거부하며, 사람에게 사안을 넘겨야 하는지 결정할 수 없다.

개발자에게는 운영 가능한 정의가 필요하다. 사용자에게는 이해하기 쉬운 선택지가 필요하다. 거래 상대에게는 에이전트가 내세우는 권한이 진짜라는 확신이 필요하다.

이런 요소가 없다면 충성심과 공정성은 가치 있는 거래가 분쟁으로 번지는 바로 그 순간 실패하는 구호에 불과하다.

좋은 거래도 무단 거래일 수 있다

가장 어려운 질문은 에이전트가 협상을 잘했는지가 아니라, 그 행동이 에이전트 뒤에 있는 사람을 구속해야 하는지다.

계약법은 이미 자동화 시스템으로 생성된 거래를 다룬다. 기업들은 일상적으로 온라인 주문을 수락하고 규칙 기반 거래를 실행한다. 언어 모델 에이전트는 개별 결정이 완전히 미리 정해져 있지 않기 때문에 불확실성을 더한다.

계약법 분석은 모든 조항에 대해 개인의 주관적 의도를 입증하지 않아도 전통적 법리가 합의를 인정할 수 있다고 주장한다. 법원은 흔히 외부로 드러난 의사 표시와 합리적 신뢰에 주목한다.

이 원칙은 자동화 상거래를 가능하게 할 수 있다. 동시에 에이전트를 배치한 개인이나 기업에 상당한 책임을 지울 수도 있다.

가령 한 기업이 예산 범위 안에서 장비를 조달하도록 에이전트에 권한을 부여했다고 하자. 에이전트는 유리한 단가를 협상했지만 자동 갱신, 제한적인 데이터 조항, 먼 지역의 분쟁 관할을 받아들인다.

판매자는 에이전트에게 권한이 있었다고 합리적으로 믿을 수 있다. 구매자는 시스템이 부여받은 업무 범위를 넘었다고 주장할 수 있다. 그러면 분쟁은 계약 해석과 제품 설계 모두를 다루게 된다.

문서화된 위임 범위는 이런 불확실성을 줄일 수 있다. 에이전트가 논의할 수 있는 사항, 수락할 수 있는 조건, 인간의 확인이 의무화되는 시점을 명시할 수 있다.

하지만 공개에는 전략적 비용이 따른다. 에이전트의 정확한 지출 한도나 승인 기준을 알게 된 상대는 그 한도에 맞춰 제안을 구성할 수 있다.

따라서 위임 범위에는 별도의 계층이 필요할 수 있다. 사용자와 에이전트는 상세한 비공개 지침을 공유하고, 거래 상대는 기밀 선호를 보지 못한 채 검증 가능한 권한 확인서만 받을 수 있다.

모든 중요한 행동은 지속적으로 보관되는 기록도 남겨야 한다. 이 로그에는 받은 제안, 검토한 조건, 양보 이유, 공개한 데이터, 수락 시점이 담긴다.

로그는 검토와 분쟁 해결을 돕지만, 개인정보 및 보안 위험도 초래한다. 협상에는 재무 정보, 의료 세부 정보, 사업 계획 또는 고용 관련 우려가 포함될 수 있다.

침해된 에이전트는 이 자료를 직접 노출할 수 있다. 악의적인 문서나 메시지는 프롬프트 인젝션을 시도할 수도 있다. 이는 외부 콘텐츠에 숨겨져 에이전트의 원래 업무를 무력화하려는 지시를 뜻한다.

에이전트가 웹을 탐색하고, 도구를 호출하고, 문서에 서명하거나, 돈을 이체할 수 있을 때 위험은 커진다. 시스템이 즉시 행동할 수 있다면, 오도하는 진술은 단순한 나쁜 조언을 넘어선다.

인간의 승인은 명백한 안전장치지만, 승인 요청은 무의미해질 수 있다. 에이전트가 사소한 단계마다 확인을 요청하면 사용자는 요청을 자동으로 수락할 수 있다.

효과적인 감독은 위험 수준을 따라야 한다. 에이전트는 되돌릴 수 있는 세부 사항은 자유롭게 협상하고, 민감한 정보를 공개하기 전에는 승인을 요청하며, 정해진 한도를 초과하는 의무를 수락하기 전에는 멈출 수 있다.

사용자에게는 철회 권한도 필요하다. 에이전트가 접촉한 모든 서비스를 추적하지 않고도 진행 중인 협상을 중단하고, 권한을 철회하거나, 자격 증명을 무효화할 수 있어야 한다.

거래 상대에게도 안전장치가 필요하다. 기업은 에이전트의 신원을 확인하고, 누구를 대리하는지 파악하며, 그 권한이 여전히 유효한지 확인할 수 있어야 한다.

이러한 장치는 대화형 AI보다 디지털 신원 및 접근 관리에 더 가깝다. 여기에는 자격 증명, 권한, 감사 가능성, 만료, 복구가 포함된다.

더 넓은 법적 환경은 여전히 정립되지 않았다. 관할권마다 전자계약, 소비자 보호, 개인정보 보호, 차별, 자동화된 의사결정에 서로 다른 규칙을 적용할 수 있다.

에이전트는 몇 초 만에 그러한 국경을 넘나들며 협상할 수 있다. 개발자는 하나의 보편적 프롬프트가 어디서나 규정을 준수하는 행동을 만들어낼 것이라고 가정할 수 없다.

윤리 규칙도 상황에 따라 달라진다. 전략적 침묵은 상업 조달 논의에서는 받아들여질 수 있지만, 취약한 소비자나 필수 의료 서비스를 다룰 때는 부적절할 수 있다.

에이전트 상거래 연구는 이미 개인정보 보호, 책임, 경제적 충성 의무를 둘러싼 미해결 질문을 부각했다. 최근 에이전트 상거래 보도 역시 에이전트가 이들과 상호작용하고 싶어 하지 않는 사람들의 저항에 부딪히는 사례를 설명한다.

그 저항은 중요하다. 개인이나 기업은 자동화된 협상을 거부하거나, 공개를 요구하거나, 특정 거래에 인간 대표를 요구할 수 있다.

협상 에이전트는 설득력 있는 메시지를 주고받을 수 있다는 이유만으로 성공하지는 못한다. 사용자, 거래 상대, 규제기관, 보험사, 법원으로부터 제도적 수용을 얻어야 한다.

그 당사자들이 이 절차를 인정하기 전까지는 효율적인 거래도 값비싼 분쟁으로 이어질 수 있다.

에이전트 협상 준비 여부를 보여줄 세 가지 신호

다음 단계는 유창한 협상 시연이 아니라 통제된 권한의 증거로 규정될 것이다.

첫 번째 신호는 구체적인 권한 부여 프레임워크다. Anthropic 또는 다른 개발사는 사용자가 목표, 제약 조건, 승인 기준, 철회 권한을 어떻게 설정하는지 보여줘야 한다.

중요한 거래에서는 짧은 자연어 요청만으로 충분하지 않다. 이 프레임워크는 조언, 잠정적 제안, 최종 약정을 구분해야 한다.

또한 사용자의 비공개 협상 입장을 노출하지 않으면서 거래 상대에게 권한을 전달해야 한다. 개발자가 이 분리를 해결하지 못한다면 에이전트는 저위험 업무에만 머물게 될 것이다.

강력한 권한 부여 설계는 위임 협상의 근거를 강화할 수 있다. 주로 광범위한 동의 화면에 의존하는 제품은 그 근거를 약화시킬 것이다.

두 번째 신호는 적대적이고 이질적인 에이전트를 상대로 한 테스트다. Project Swap은 한 기업이 만들고 협력적으로 행동하도록 훈련한 에이전트를 사용했다.

실제 시장에는 서로 다른 모델, 도구, 목표, 보안 관행이 존재할 것이다. 일부 에이전트는 권한을 잘못 설명하거나, 공개된 선호를 악용하거나, 제안으로 절차를 넘치게 만들거나, 악의적 지시를 삽입할 수 있다.

유용한 평가는 에이전트가 타협 능력을 잃지 않으면서 조작에 저항하는지를 시험해야 한다. 또한 성능이 약한 모델과 강한 모델이 직접 협상할 때의 결과를 비교해야 한다.

Anthropic의 연구는 이미 모델 선택이 성과에 영향을 미친다는 점을 발견했다. Claude가 생성한 순위에서 전체 Haiku 거래장 점수는 0.75였고, 전체 Opus 거래장 점수는 0.88이었다.

Opus와 Haiku가 섞인 거래장에서는 Opus 에이전트가 일관되게 앞섰다. 더 큰 이해관계가 걸린 시장에서도 비슷한 격차가 지속된다면, 더 강력한 모델에 대한 접근성은 협상력의 원천이 될 수 있다.

독립적인 적대적 테스트는 시스템이 Anthropic의 실험실 밖에서도 작동한다는 확신을 강화할 것이다. 우호적인 에이전트만 참여하는 폐쇄적 시연은 핵심 위험을 해결하지 못한 채 남길 것이다.

세 번째 신호는 실질적인 구제 수단을 갖춘 배포다. 사용자는 에이전트의 결정에 이의를 제기하고, 선호 모델을 수정하며, 무단 약정으로부터 회복할 수 있는 명확한 절차가 필요하다.

거래 로그는 에이전트가 한 제안 대신 다른 제안을 수락한 이유를 설명할 수 있을 만큼 읽기 쉬워야 한다. 사용자가 수천 개의 토큰을 검토하거나 숨겨진 추론 과정을 재구성하도록 요구해서는 안 된다.

Anthropic의 실험은 유용한 단서를 제공한다. 한 참여자는 관찰 가능성이 사람들에게 구제 수단을 제공하기 때문에 중요하다고 말했다. 다른 참여자는 에이전트가 동료 압력에 밀려 바람직한 책을 포기하는 듯 보이자 이의를 제기했다.

이런 반응은 결과 지표만으로는 충분하지 않은 이유를 보여준다. 유리한 가격이 무단 정보 공개를 정당화하지는 않는다. 사회적으로 효율적인 거래가 사용자의 우선순위를 무시하는 일을 정당화하지도 않는다.

개발자에게 당면한 과제는 역량과 권한을 분리하는 것이다. 모델의 협상 능력이 해당 모델이 거래를 통제해야 한다는 사실을 입증하지는 않는다.

기업 구매자는 인간 승인이 어디에 위치하는지, 권한은 어떻게 만료되는지, 분쟁 시 어떤 증거가 남는지, 에이전트가 외부 시스템과 안전하게 상호작용할 수 있는지를 물어야 한다.

지식 노동자는 어떤 선호를 명확하게 표현할 수 있고 어떤 결정은 여전히 맥락 속 판단을 필요로 하는지 고려해야 한다. 또한 에이전트의 자신감 있는 해석을 동의의 증거로 취급해서는 안 된다.

Anthropic AI 협상 에이전트는 마찰이 적은 상거래로 향하는 신뢰할 만한 경로를 제시한다. 이 연구는 에이전트가 거래를 찾아내고, 전술을 적용하며, 교환을 완료할 수 있음을 보여준다.

동시에 선호 오류가 협상 오류보다 더 큰 비중을 차지한다는 점도 보여준다. 이 발견은 제품 우선순위를 이끌어야 한다. 더 나은 설득은 잘못된 목표를 대변하는 문제를 보완할 수 없다.

가장 유용한 협상 에이전트는 언제나 가장 강하게 밀어붙이는 에이전트가 아닐 것이다. 사용자가 무엇을 중시하는지 알고, 수정의 여지를 보존하며, 권한이 모호해지면 멈추는 에이전트일 것이다.

실제 협상을 위임하기 전에 세 가지를 물어야 한다. 에이전트는 자신의 권한을 설명할 수 있는가, 상대방은 그 권한을 검증할 수 있는가, 그리고 시스템이 잘못 작동했을 때 어느 쪽이든 복구할 수 있는가? 이 세 가지에 실질적인 답이 마련되기 전까지 AI 협상은 당연한 것으로 간주하기보다 감독하에 이루어져야 한다.