Simon Willison, 저렴한 LLM 릴레이 액세스 뒤의 갈등을 드러내다

Simon Willison은 할인된 LLM 액세스가 공동 사용 자격 증명, 노출된 봇, 결제 사기에 의존할 수 있는 릴레이 시장을 조명했다. 그의 7월 26일 게시물은 독자들을 소프트웨어 엔지니어 Matt Lenhard의 조사로 이끈다. 해당 조사는 주로 중국어 커뮤니티를 통해 개발자, 스타트업, 기타 구매자에게 서비스를 제공하는 상업적 공급망을 설명한다.

이 갈등은 단순히 공식 API와 더 저렴한 경쟁 서비스 간의 문제가 아니다. 이는 합법적인 게이트웨이 기술과, 운영자가 컴퓨팅 용량의 출처를 숨길 수 있는 재판매 시장 간의 갈등이다. 구매자는 호환되는 하나의 엔드포인트와 편리한 과금 방식을 본다. 하지만 업스트림 액세스가 정당하게 구매된 것인지, 다른 애플리케이션에서 수집된 것인지, 또는 사기 계정으로 확보된 것인지는 쉽게 확인할 수 없다.

이 불확실성은 세 집단에 동시에 압박을 가한다. 모델 제공업체는 무단 사용과 차지백 비용을 떠안는다. 애플리케이션 개발자는 노출된 엔드포인트가 릴레이 재고가 될 위험에 직면한다. 구매자는 신원과 데이터 처리 방식이 불분명할 수 있는 중개업체를 통해 프롬프트, 소스 코드, 비즈니스 데이터를 전송한다.

Simon Willison이 숨겨진 릴레이 경제를 수면 위로 끌어올리다

중요한 변화는 가시성이다. 흩어져 있던 악용 문제가 이제 전문 공급업체, 인프라, 고객을 갖춘 조직화된 시장으로 보이기 시작했다.

Willison은 현장 조사를 직접 수행하지는 않았다. 그의 릴레이 경고는 Lenhard의 조사 결과를 확산시키고, 이를 애플리케이션 개발자가 직면한 실질적인 문제와 연결했다. 노출된 LLM 기능은 더 이상 기회주의적 악용만 유발하지 않는다. 무단 액세스를 수익화하도록 설계된 하위 비즈니스에 공급될 수 있다.

Lenhard는 운영자들이 릴레이 용어와 방법을 논의하는 중국어 포럼을 조사한 뒤 6월 28일 보고서를 공개했다. 그는 무료 크레딧과 지원 봇 악용이 반복적으로 발생한 AI 게이트웨이를 운영하면서 관심을 갖게 됐다고 말한다. 다른 회사들과의 대화를 통해 이러한 패턴이 하나의 서비스에만 국한되지 않는다는 확신을 얻었다.

보고서의 주요 포럼 출처는 3월 5일부터 6월 23일까지 운영됐다. Lenhard에 따르면 이 논의는 약 3만5,000회의 조회와 190개의 답글을 끌어모았다. 이 수치는 한 커뮤니티 내의 관심을 보여주지만, 더 넓은 시장의 전체 규모를 입증하지는 않는다.

릴레이는 때로 전송 스테이션이라고도 불리며, 주요 모델 제공업체의 인터페이스와 유사한 API 엔드포인트를 고객에게 제공한다. 고객은 애플리케이션의 기본 URL을 변경하고 릴레이가 발급한 자격 증명을 제출한다. 이후 릴레이는 각 요청을 업스트림 계정이나 다른 중개업체로 전달한다.

이 설계는 상당한 복잡성을 숨긴다. 고객은 익숙한 모델 이름, 사용 잔액, 요청 형식을 본다. 하지만 그 인터페이스 뒤에서 운영자는 자격 증명을 순환시키고, 속도 제한을 우회하며, 실패한 호출을 재시도하거나, 요청된 모델 하나를 다른 모델로 매핑할 수 있다.

Lenhard는 네 가지 광범위한 계층을 설명한다. 카드 및 계정 판매업체는 결제 수단이나 등록 계정을 조달한다. 계정 풀은 자격 증명을 결합하고 한도를 관리한다. 소비자 대상 릴레이는 그 용량을 편리한 서비스로 포장한다. 개발자와 상업 사용자들은 그 결과로 만들어진 액세스를 구매한다.

이 역할들은 겹칠 수 있다. 한 운영자가 계정 풀과 스토어프론트를 모두 통제할 수 있다. 또 다른 릴레이는 모든 자격 증명의 출처를 알지 못한 채 별도 풀에서 용량을 구매할 수 있다. 이러한 분리는 제공업체가 악용을 감지했을 때 책임 추적을 더 어렵게 만든다.

이 시장은 개별 판매자를 넘어선 소비자 인프라도 갖춘 것으로 보인다. Lenhard는 가격 비교 사이트, 제휴 프로그램, 고객 지원 그룹, 전문 게이트웨이 제품을 보고했다. 그의 팀이 추적한 가장 바쁜 10개 릴레이는 월간 합산 360만 회의 방문을 받았다고 그는 말한다.

이 트래픽 추정치는 Lenhard의 연구에 기반하므로, 출처가 명시된 측정치로 다뤄야 한다. 방문자 중 몇 명이 유료 고객이 됐는지는 보여주지 않는다. 또한 합법적 액세스와 궁극적으로 사기를 통해 공급된 액세스를 구분할 수도 없다.

그럼에도 주변 인프라는 중요하다. 비교 사이트와 제휴 프로그램은 릴레이를 찾는 데 필요한 노력을 줄인다. 표준 소프트웨어는 릴레이 운영에 필요한 노력을 낮춘다. 계정 풀은 개별 업스트림 자격 증명 하나가 작동을 멈췄을 때의 피해를 줄인다.

이것이 Willison의 개입이 주목받아야 하는 이유다. 그는 릴레이 시장을 모델 가격이나 지역별 이용 가능성을 둘러싼 분쟁이 아니라 애플리케이션 보안 문제로 재구성했다. 비용이 큰 추론 기능을 노출하는 모든 제품은 비자발적인 공급업체가 될 수 있다.

가장 강력한 교훈은 가장 단순하다. LLM 엔드포인트는 제공업체 키를 노출하지 않아도 위험을 만들 수 있다. 외부인이 이를 통해 계량되지 않은 요청을 보낼 수 있다면, 그 엔드포인트 자체가 사실상 재사용 가능한 자격 증명이 된다.

저렴한 토큰이 AI 공급망 전반에 압박을 만든다

릴레이 수요는 취약한 모든 지출 통제, 개방형 챗봇, 부실하게 보호된 애플리케이션을 잠재적 재고로 바꾼다.

가장 즉각적인 압박은 모델 제공업체와 그 비용을 지불하는 기업에 가해진다. 무료 체험은 고객 확보 채널을 만들지만, 자동 등록은 그 크레딧을 재판매 용량으로 전환할 수 있다. 차지백은 이미 소비된 추론 비용을 제공업체나 판매자에게 다시 떠넘길 수 있다.

도난 카드로 인한 손실은 더 직접적이다. 릴레이가 사용할 수 있는 용량을 소비하는 동안 계정은 충분히 오래 활성 상태로 남아 있을 수 있다. 카드 소지자나 카드 발급사가 거래에 이의를 제기할 때쯤이면, 모델 출력은 이미 하류로 전달된 뒤다.

선불 카드와 가상 카드는 그 자체로 부정행위를 입증하지 않으면서 위험 판단을 복잡하게 만든다. 많은 합법적 고객도 두 제품을 모두 사용한다. 따라서 제공업체는 결제 신호를 계정 생성 기간, 요청 행동, 기기 정보, 네트워크 패턴과 결합해야 한다.

애플리케이션 기업은 다른 문제에 직면한다. 공개 지원 도우미, 글쓰기 기능, 문서 분석 엔드포인트는 회사가 통제하는 계정을 사용해 요청을 전달할 수 있다. 해당 엔드포인트에 인증이나 엄격한 제한이 없다면, 공격자는 이를 다른 서비스로 감쌀 수 있다.

공격자는 기본 키를 추출할 필요가 없다. 대신 애플리케이션의 요청 형식을 재현하고, 관련 없는 프롬프트를 백엔드를 통해 전송한다. 애플리케이션은 프록시가 되고, 그 소유자는 청구서를 받는다.

Willison은 이런 가능성 때문에 자신이 만든 LLM 기반 애플리케이션을 공개하는 데 더 신중해졌다고 말한다. 그는 지출이 개발자가 정의한 임계값에 도달하면 애플리케이션을 중단시키는 제공업체 측 제어 기능을 원한다. 알림도 유용하지만, 급증 이후에 도착하는 알림은 손실을 막지 못한다.

AI 에이전트가 요청량과 동시성을 늘리면서 이러한 우려는 커진다. 대화형 챗봇은 사용자의 행동 이후 하나의 요청을 보낼 수 있다. 코딩 에이전트는 반복 호출을 수행하고, 방대한 컨텍스트를 첨부하며, 제한된 감독 아래 계속 작업할 수 있다.

동시성은 기본적인 잔액 확인도 무력화할 수 있다. 계정이 한도 미만인 동안 여러 요청이 시작될 수 있다. 시스템이 완료 후에야 비용을 기록하면, 합산 사용량은 의도한 상한을 넘을 수 있다.

더 안전한 설계는 진행 중인 모든 요청에 예산을 예약한다. 또한 계정, 자격 증명, 엔드포인트, 시간 창별로 제한을 적용한다. 이러한 통제는 릴레이 악용과 지갑 고갈 공격 모두의 피해를 줄인다.

지갑 고갈은 다른 당사자의 유료 API 할당량을 소비하도록 설계된 요청을 뜻한다. 재판매와 달리 공격자에게는 하위 고객이 없을 수 있다. 하지만 대상이 충분한 인증이나 제한 없이 비용이 드는 작업을 받아들인다는 점에서 기술적 취약성은 비슷하다.

그 압박은 이후 더 작은 애플리케이션 팀으로 이동한다. 대형 모델 제공업체는 결제 위험 시스템, 사기 대응 팀, 광범위한 행동 텔레메트리를 유지할 수 있다. AI 지원 기능 하나를 추가하는 스타트업에는 이 세 가지가 모두 없을 수 있다.

개발자는 모든 공개 AI 기능을 계량되는 금융 인터페이스로 다뤄야 한다. 공격자가 많은 계정을 만들 수 있다면 인증만으로는 충분하지 않다. 요청이 하나의 조직 예산을 공유한다면 사용자별 제한만으로도 충분하지 않다.

입력 제한은 도움이 될 수 있지만 서버 측에서 강제돼야 한다. 지원 질문만 받는 브라우저 인터페이스도 임의의 텍스트를 처리할 수 있는 백엔드를 호출할 수 있다. 공격자는 인터페이스를 우회해 기본 요청을 직접 호출할 수 있다.

팀은 실험용 자격 증명을 프로덕션 계정과 분리해야 한다. 테스트 경로가 유출됐다고 해서 조직의 전체 지출 용량이 노출돼서는 안 된다. 제한된 권한, 모델 제한, 독립적인 예산은 통제 하나를 놓쳤을 때의 결과를 줄인다.

이 작업은 합법적 사용자에게 마찰을 만든다. 엄격한 신원 확인은 지원되는 문서나 결제 수단이 없는 고객을 차단할 수 있다. 공격적인 네트워크 필터는 여행자, 공유 사무실 사용자, 개인정보 보호를 중시하는 사용자를 불이익 줄 수 있다.

이러한 상충관계는 지속적인 릴레이 수요를 설명하는 데 도움이 된다. 일부 구매자는 더 낮은 운영 비용을 원한다. 다른 이들은 지역의 공식 채널을 통해 이용할 수 없는 모델을 원한다. 일부는 기존 개발자 도구와 함께 작동하는 OpenAI 호환 엔드포인트를 찾는다.

이런 필요가 모든 구매자를 업스트림 사기에 공모한 사람으로 만들지는 않는다. 그러나 소유권이 불분명한 비정상적으로 저렴한 서비스는 상당한 위험을 고객에게 이전한다. 편리함은 신뢰할 수 없는 액세스, 대체된 모델, 보호되지 않은 데이터를 감출 수 있다.

하나의 API 엔드포인트가 수백 개의 자격 증명을 숨길 수 있다

릴레이 메커니즘이 작동하는 이유는 표준 게이트웨이 기능이 고객 경험을 각 업스트림 요청의 출처로부터 분리할 수 있기 때문이다.

Lenhard는 자신이 조사한 대부분의 릴레이가 one-api 또는 new-api를 사용했다고 말한다. 둘 다 여러 모델 제공업체를 하나의 호환 인터페이스 뒤에 배치할 수 있는 오픈소스 게이트웨이다. 이들은 일반적인 내부 및 기업용 활용 사례를 가진 합법적 제품이다.

gateway software는 여러 제공업체, 토큰 관리, 채널 그룹, 모델 매핑, 재시도 동작, 로드 밸런싱을 지원한다. 기업은 이런 기능을 이용해 자격 증명을 중앙화하면서 직원에게는 더 제한적인 액세스 토큰을 제공할 수 있다.

문서는 사용자에게 제공업체 약관과 적용 가능한 법률을 준수하라고도 안내한다. 따라서 이 소프트웨어 자체는 사기의 증거가 아니다. 관련된 질문은 운영자가 채널에 배치되는 업스트림 계정을 어떻게 확보하는가다.

New API는 동일한 일반 아키텍처를 확장한다. 이 프로젝트는 집계, 조직 인증, 사용량 분석, 비공개 배포를 위한 게이트웨이라고 설명한다. gateway fork는 권한 있는 서비스 운영자에게 유용한 결제, 회계, 권한, 라우팅 기능을 추가한다.

New API 역시 업스트림 키와 계정이 합법적으로 취득돼야 한다고 명시한다. 공개 서비스 및 재판매 운영자에게는 승인, 라이선스, 로깅, 신원 확인, 결제, 규제 의무를 충족하라고 경고한다. 이러한 고지는 소프트웨어의 의도된 용도와 악용 사례를 구분한다.

릴레이 운영자는 채널 구성부터 시작한다. 각 채널은 모델 제공업체, 애플리케이션 서비스 또는 다른 풀을 가리킨다. 게이트웨이는 그 채널들에 자격 증명을 할당하고, 고객이 요청을 제출하면 하나를 선택한다.

라우팅은 신뢰할 수 없는 자격 증명을 더 안정적인 제품으로 바꾼다. 하나의 계정이 속도 제한에 걸리거나 정지되면 시스템은 다른 채널을 시도할 수 있다. 가중 라우팅은 더 저렴하거나 신뢰할 수 있어 보이는 출처를 우선할 수 있다.

게이트웨이는 이후 고객의 릴레이 잔액에서 사용량을 차감해 기록한다. 이 회계 계층은 업스트림 제공업체가 청구한 금액을 공개하지 않는다. 운영업체 자체의 규칙, 배수, 모델 매핑만 반영한다.

이러한 분리는 핵심적인 정보 격차를 만든다. 특정 최첨단 모델을 요청하는 고객은 어느 업스트림 계정이 해당 호출을 처리했는지 독립적으로 확인할 수 없다. 요청한 모델이 실제로 응답을 생성했는지 확인하기도 어려울 수 있다.

모델 매핑은 합법적인 배포 환경에서 유용하다. 기업은 호환되는 시스템 간에 트래픽을 이동하거나 안정적인 내부 모델 이름을 제공할 수 있다. 부정직한 운영업체는 같은 기능을 이용해 프리미엄 라벨을 유지한 채 더 저렴한 모델로 대체할 수 있다.

단순한 출력 테스트만으로는 이 문제를 완전히 해결할 수 없다. 밀접하게 관련된 모델은 일반적인 프롬프트에 유사하게 답할 수 있다. 제공업체는 모든 공개 라벨을 바꾸지 않고도 모델을 업데이트할 수 있다. 릴레이 운영업체는 일부 요청만 약속한 모델로 라우팅할 수도 있다.

프록시는 요청을 업스트림으로 전달해야 하므로 전체 요청을 볼 수 있다. 코딩 도구의 경우 페이로드에는 리포지토리 파일, 아키텍처 메모, 디버깅 로그, 시스템 지침이 포함될 수 있다. 비즈니스 애플리케이션의 경우 고객 기록이나 내부 문서가 포함될 수 있다.

합법적인 기업용 게이트웨이는 조직의 통제와 보안 정책 아래에서 운영된다. 알려지지 않은 릴레이는 그 경계 밖에 또 다른 데이터 처리자를 만든다. 구매자는 해당 업체의 보존, 접근, 암호화, 사고 대응 및 삭제 관련 주장을 신뢰해야 한다.

릴레이는 여러 제공업체에 걸쳐 요청을 전달할 수도 있다. 장애 조치는 가용성을 높이지만 프롬프트를 받을 수 있는 시스템의 수를 늘린다. 고객은 정확한 라우팅 및 데이터 처리 공개 없이는 이러한 노출을 평가할 수 없다.

이 구분은 오픈소스 정책 논쟁에서 중요하다. one-api나 new-api를 탓하는 것은 역량과 행위를 혼동하는 일이다. 웹 서버, 결제 시스템, 로드 밸런서 역시 합법적인 비즈니스와 악용 행위를 모두 지원한다.

더 나은 대응은 자격 증명 출처, 권한 부여, 관찰 가능한 행위에 초점을 맞춘다. 제공업체는 연관 계정, 비정상적인 요청 패턴, 결제 이상, 등록 직후의 급격한 소비를 탐지할 수 있다. 애플리케이션 소유자는 자체 엔드포인트가 허용하는 요청을 제한할 수 있다.

오픈소스 유지관리자는 모든 배포를 단속하려 하지 않으면서도 방어적 운영 관리를 지원할 수 있다. 안전한 기본값, 눈에 띄는 설정 경고, 감사 로그, 지출 통제, 명확한 모델 라우팅 기록은 합법적인 운영을 더 안전하게 만든다. 그렇다고 의도적인 악용을 없애지는 못한다.

소프트웨어의 중립성 자체가 이 이야기를 중요하게 만든다. 릴레이 운영업체는 특수한 지하 인프라를 필요로 하지 않는다. 이들은 기업이 거버넌스와 비용 통제에 사용하는 것과 같은 게이트웨이 패턴으로 스토어프론트를 구성할 수 있다.

할인은 사기, 대체, 데이터 노출을 감출 수 있다

릴레이 고객은 불확실한 용량만 구매하는 것이 아니다. 모델 정체성, 가동 시간, 제출하는 모든 프롬프트를 중개업체에 맡기는 것이다.

Lenhard는 여러 보고된 릴레이 인벤토리 공급원을 지목한다. 여기에는 대량 생성된 체험 계정, 차지백 활동, 도난당한 결제 카드, 선불 계정, 공개된 애플리케이션 엔드포인트가 포함된다. 이러한 구성은 운영업체와 시점에 따라 달라질 가능성이 높다.

그의 조사는 추적된 모든 릴레이가 그러한 방법을 사용한다는 점을 독립적으로 입증하지는 않는다. 할인 혜택이 있다고 해서 사기가 성립하는 것도 아니다. 공인 리셀러, 지역 제공업체, 협상된 용량을 보유한 기업은 합법적인 절감 혜택을 제공할 수 있다.

그럼에도 일부 보고된 할인 규모는 출처에 대한 의문을 제기한다. 지속 가능한 서비스라면 누군가는 컴퓨팅 자원 비용을 부담하고, 더 낮은 마진을 감수하거나, 특별 계약을 통해 용량을 확보해야 한다. 구매자는 어느 설명이 적용되는지 물어야 한다.

신뢰할 수 있는 중개업체는 법적 실체를 밝히고 명확한 서비스 약관을 제공해야 한다. 어떤 제공업체가 모델을 공급하는지와 재판매가 승인되었는지를 설명해야 한다. 프롬프트 보존, 하위 처리업체, 사고 보고, 계정 해지를 문서화해야 한다.

구매자는 신뢰할 수 있는 모델 검증도 요구해야 한다. 릴레이 대시보드의 표시 라벨만으로는 충분하지 않다. 운영업체가 더 작은 모델로 대체하거나, 과부하 채널로 라우팅하거나, 통지 없이 제공업체를 바꾸면 출력 품질이 떨어질 수 있다.

모델 대체는 성능 문제에 그치지 않는다. 팀은 한 모델로 애플리케이션을 평가한 뒤, 자신도 모르게 다른 모델로 배포할 수 있다. 그러면 코드 업데이트 없이도 안전 동작, 컨텍스트 처리, 도구 사용, 구조화된 출력이 바뀔 수 있다.

가용성에도 유사한 불확실성이 있다. 자격 증명 풀은 트래픽을 살아남은 계정으로 이동시키기 때문에 한동안 장애를 숨길 수 있다. 그러나 제공업체의 공동 집행은 관련 계정 다수를 한꺼번에 비활성화할 수 있다.

릴레이는 고객 잔액과 운영 이력을 가지고 사라질 수 있다. 특히 관할권이 다른 경우 구매자가 이용할 수 있는 계약상 구제 수단은 제한적일 수 있다. 이는 표면적인 절감액을 중단이나 이전 비용과 비교하기 어렵게 만든다.

개인정보 보호는 가장 깊은 우려를 낳는다. 모든 프롬프트는 릴레이나 그 업스트림 풀이 통제하는 인프라를 통과한다. 암호화는 전송 중인 트래픽을 보호하지만, 프록시는 요청을 전달하거나 변환하기 위해 요청 내용을 반드시 접근해야 한다.

코딩 에이전트를 사용하는 개발자는 단편적인 코드 이상을 노출할 수 있다. 에이전트 세션에는 전체 파일, 의존성 정보, 내부 URL, 데이터베이스 구조, 인증 로직이 포함될 수 있다. 무해해 보이는 디버깅 요청도 시스템 구성 방식을 드러낼 수 있다.

2026년 학술 자격 증명 유출 연구는 LLM 연결 애플리케이션 전반의 더 넓은 취약점을 보여준다. 연구진은 iOS 앱 444개를 조사했으며, 그중 282개에서 악용 가능한 자격 증명을 발견했다.

연구진은 세 가지 유출 패턴을 식별했다. JWT 기반 토큰 노출이 48%, 인증되지 않은 백엔드 프록시가 33%, 평문 API 키가 19%를 차지했다. 이 분류는 공격자가 일반적인 제공업체 키를 찾지 않고도 용량을 확보할 수 있음을 보여준다.

책임 있는 공개 이후 연구진은 취약한 애플리케이션을 3개월 뒤 다시 확인했다. 보고된 문제를 수정한 비율은 28%에 그쳤고, 72%는 여전히 악용 가능했다. 지속적인 백엔드 및 토큰 설계 문제는 개선을 늦췄다.

이 연구는 Lenhard의 보고서에 등장한 릴레이 운영업체가 해당 앱들을 악용했다는 점을 입증하지는 않는다. 그러나 기술적으로 악용 가능한 LLM 용량이 상당한 규모로 존재한다는 점은 보여준다. 인증되지 않은 프록시는 원시 키를 노출하지 않고도 호출할 수 있어 특히 관련성이 높다.

구매자는 법적·계약상 불확실성에도 직면한다. 고객은 자신의 요청이 업스트림 제공업체의 약관을 위반하는지 알지 못할 수 있다. 그러나 원래 계약을 위반한 주체가 누구인지와 관계없이 서비스 중단은 여전히 고객에게 영향을 미칠 수 있다.

지역별 제한은 상황을 더욱 복잡하게 만든다. 일부 사용자는 자신의 지역에서 직접 모델 접근이 불가능하기 때문에 릴레이를 이용한다. 릴레이는 충족되지 않은 수요를 작동하는 엔드포인트로 전환하지만, 수출·계약·규제 제약을 없애지는 않는다.

모델 증류는 또 다른 논쟁적 측면을 더한다. Lenhard는 일부 상업 구매자가 중계된 출력을 사용해 자국 모델을 학습시킨다고 주장한 포럼 참여자들을 인용한다. 이 발언은 운영업체 커뮤니티에서 번역된 것이며 독립적으로 검증되지 않았다.

증류 자체는 널리 쓰이는 기술 관행이다. 더 작은 모델은 다른 시스템의 출력이나 관련 학습 신호에서 패턴을 학습한다. 특정 사용이 허용되는지는 접근 약관, 데이터 권리, 정확한 방법에 따라 달라진다.

가장 방어 가능한 결론은 가장 극적인 주장보다 좁다. 릴레이는 사용자와 모델 제공업체 사이에 불투명한 통제 지점을 만든다. 그 불투명성은 고객이 사기에 참여할 의도가 전혀 없었더라도 여러 위험을 가능하게 한다.

핵심 쟁점은 합법적 접근과 숨겨진 출처의 대립이다

릴레이 시장을 규정하는 갈등은 오픈소스 대 폐쇄형 소스가 아니라 편리한 접근 대 검증 가능한 권한 부여다.

공식 API는 고객에게 모델 제공업체와의 직접적인 계약 관계를 제공한다. 이 관계가 모든 개인정보 보호나 신뢰성 우려를 없애지는 않는다. 그러나 청구, 모델 접근, 보안 문서, 지원에 대한 책임을 더 명확히 한다.

릴레이는 최소 한 명의 추가 당사자를 끼워 넣는다. 계정 판매자와 풀은 더 많은 계층을 추가할 수 있다. 각 계층은 가용성이나 지역 사용성을 높일 수 있지만, 각 계층은 출처와 책임성을 검증하기 더 어렵게 만든다.

이러한 대립 구조는 가격만으로 비교하기 어려운 이유를 설명한다. 공식 엔드포인트와 불투명한 릴레이는 문법적으로 유사한 응답을 반환할 수 있다. 그러나 자격 증명, 프롬프트, 모델 정체성, 고객 자금에 대해 동일한 관리 연속성을 제공하지는 않는다.

공인 게이트웨이는 정당한 중간 지대를 차지한다. 기업은 예산을 집행하고 사용량을 관찰하기 위해 승인된 계정을 중앙화할 수 있다. 지역 제공업체는 문서화된 계약에 따라 용량을 재판매할 수 있다. 기업 플랫폼은 고객이 선택한 모델 사이에서 라우팅할 수 있다.

차별점은 증거다. 공인 운영업체는 업스트림 관계, 계약상 역할, 보안 통제, 데이터 관행을 공개할 수 있다. 고객은 계약, 감사 보고서, 문서, 지원 채널을 통해 이러한 주장을 평가할 수 있다.

불투명한 운영업체는 구매자에게 가동 시간이나 커뮤니티 평판을 통해 정당성을 추론하라고 요구한다. 어느 신호도 권한 부여를 입증하지 못한다. 대규모 자격 증명 풀은 개별 계정이 반복적으로 차단되더라도 가용성을 유지할 수 있다.

커뮤니티 리뷰는 명백한 사기를 식별할 수 있지만, 리뷰어가 모든 업스트림 요청을 관찰할 수는 없다. 릴레이는 테스트 중에는 정직하게 운영하다가 이후 조달 방식을 바꿀 수 있다. 공인 용량과 의심스러운 대체 채널을 함께 사용할 수도 있다.

따라서 제공업체는 어려운 집행 선택에 직면한다. 강력한 계정 통제는 악용 비용을 높일 수 있다. 그러나 같은 통제는 공유 네트워크, 국제 결제 수단, 자동화된 워크플로를 사용하는 합법적인 개발자를 배제할 수 있다.

신원 확인은 또 다른 이동 효과를 만든다. 직접 계정을 만들기 어려워지면 공격자는 노출된 애플리케이션 엔드포인트나 기존 계정을 찾을 수 있다. Lenhard는 제공업체의 더 강력한 검증이 악용을 애플리케이션 계층으로 밀어낼 것이라고 예측한다.

이 예측을 확정된 사실로 취급해서는 안 된다. 제공업체가 신호를 공유하고 지출 한도를 개선하면 더 나은 통제가 전체 악용을 줄일 수 있다. 한 경로의 수익성이 낮아지면 공격자는 계속 이동하므로, 전이는 여전히 심각한 가능성이다.

애플리케이션 소유자는 자신의 엔드포인트가 테스트될 것이라는 가정 아래 방어책을 마련해야 한다. 요청을 인증하고, 좁은 스키마를 강제하며, 동시성을 제한하고, 진행 중인 지출을 예약하고, 의도한 작업과 무관한 프롬프트를 거부해야 한다.

행동 모니터링은 계정 연령, 요청 시점, 모델 선택, 네트워크 신호, 급격한 볼륨 변화를 살펴봐야 한다. 단일 지표만으로 결정적인 판단을 내릴 수는 없다. 결합된 신호는 일반적인 사용과 자동화된 추출 또는 재판매 트래픽을 구분할 수 있다.

팀은 영향을 받은 애플리케이션 외부에 비상 통제 수단을 유지해야 한다. 침해된 서비스 때문에 관리자가 지출을 중단하기 전까지 서비스를 계속 온라인 상태로 둘 필요가 있어서는 안 된다. 제공업체 수준의 잠금과 독립적인 예산 통제는 최후의 경계를 제공한다.

조직에는 검색 가능한 운영 기록도 필요하다. 의심스러운 사용량을 조사하는 엔지니어는 배포 변경, 알림, 청구서, 엔드포인트 로그를 신속하게 연결해야 한다. 구조화된 엔지니어링 지식 베이스는 보안 텔레메트리를 대체하지 않으면서도 이러한 조사를 단축할 수 있다.

구매자에게도 병행해야 할 책임이 있다. 릴레이 엔드포인트를 사용하는 애플리케이션이 무엇인지, 그리고 해당 애플리케이션이 어떤 데이터를 전송하는지 파악해야 한다. 비밀 정보, 독점 코드, 개인정보, 고객 문서는 검증되지 않은 프록시를 거쳐서는 안 된다.

또한 이탈 가능성을 염두에 두고 설계해야 한다. 호환 가능한 엔드포인트는 초기 도입을 쉽게 만들지만, 모델 동작과 인증 세부 사항은 여전히 다를 수 있다. 직접 제공업체 또는 승인된 대안을 시험하면 단일 중개자에 대한 의존도를 낮출 수 있다.

목표는 게이트웨이를 없애는 것이 아니다. 게이트웨이는 인증, 예산, 라우팅, 관측 가능성과 관련된 실질적인 문제를 해결한다. 목표는 구매자가 인프라와 악용을 기반으로 한 차익거래를 구분할 수 있을 만큼 출처와 권한 부여를 명확히 드러내는 것이다.

시장이 계속 성장하는지 보여줄 세 가지 신호

다음 단계는 집행 가능한 지출 통제, 애플리케이션 엔드포인트를 향한 이동, 그리고 모델 출처에 대한 더 명확한 증거에 의해 결정될 것이다.

첫 번째 신호는 주요 모델 제공업체가 엄격하고 즉각적인 지출 차단 기능을 도입하는지 여부다. 유용한 차단 기능은 정해진 예산이 소진되면 새 요청을 중단해야 한다. 이미 실행 중인 요청을 위한 용량도 확보해야 한다.

Willison은 특히 개발자가 선택한 임계값에 도달하면 작동을 멈추는 키가 필요하다고 주장한다. 이 기능은 노출된 애플리케이션으로 인한 최악의 결과를 줄일 수 있다. 또한 지갑 고갈형 서비스 거부 공격과 의도치 않은 에이전트 루프도 제한할 수 있다.

알림만으로는 이 기준을 충족할 수 없다. 제공업체는 프로젝트, 키, 모델, 시간 범위를 포함한 유용한 단위에서 강력한 한도를 제공해야 한다. 고객은 별도의 결제 통제 시스템을 구축하지 않고도 이를 설정할 수 있어야 한다.

엄격한 차단 기능이 표준이 되면, 예방 가능한 손실을 둘러싼 논거는 약화될 것이다. 릴레이 운영자는 여전히 무료 계정이나 탈취된 자격 증명을 악용할 수 있지만, 각 계정이 제공하는 사용 가능 용량은 줄어든다. 풀을 운영하려면 더 많은 재고와 더 큰 운영 노력이 필요해질 것이다.

두 번째 신호는 애플리케이션 계층 엔드포인트를 겨냥한 공격 증가다. 제공업체들은 직접 계정 주변의 신원, 결제, 행동 통제를 강화하고 있다. 공격자들은 지원 봇, 모바일 백엔드, 공개 AI 기능이 여전히 더 쉬운 표적인지 시험할 것이다.

연구자들은 공개, 허니팟, 자격 증명 텔레메트리, 악용 보고서를 통해 이러한 변화를 측정할 수 있다. 애플리케이션 기업도 관련 없는 프롬프트, 비정상적인 동시성, 지속적인 트래픽 또는 등록 직후 도착하는 요청을 관찰할 수 있다.

명확한 증가는 Lenhard의 이동 경고를 뒷받침할 것이다. 애플리케이션 악용이 안정적이거나 감소한다면, 특히 제공업체가 사기 계정 감소도 보고할 경우 그 경고는 약화될 것이다. 많은 피해자가 손실 공개를 피하기 때문에 공개 데이터는 계속 불완전할 것이다.

세 번째 신호는 구매자가 검증 가능한 라우팅과 권한 부여를 요구하는지 여부다. 릴레이 디렉터리는 현재 접근성과 신뢰성을 중심으로 치열하게 경쟁하고 있다. 기업 고객이 서명된 제공업체 관계, 모델 증명, 감사 가능한 데이터 정책을 요구한다면 시장은 변화할 수 있다.

모델 출처 도구가 모든 비밀 자격 증명을 공개할 필요는 없다. 서명된 라우팅 기록, 안정적인 모델 식별자 또는 고객이 볼 수 있는 감사 추적을 제공할 수 있다. 독립적인 평가는 운영자가 선언한 라우팅 정책을 따르는지 검증할 수 있다.

이러한 관행이 확산되면 합법적인 애그리게이터와 불투명한 릴레이를 더 쉽게 구분할 수 있게 된다. 구매자가 계속해서 출처 확인 없이 엔드포인트를 선택한다면, 마찰이 적은 리셀러는 정보 우위를 유지할 것이다.

개발자는 이러한 시장 신호가 뚜렷해지기 전에 행동해야 한다. 지원 도구와 모바일 백엔드를 포함해 모든 공개 LLM 엔드포인트를 검토하라. 제공업체가 허용하는 곳에서는 강력한 동시성 제한과 독립적인 지출 통제를 적용하라.

기업 구매자는 사용자 인터페이스부터 최종 모델 제공업체까지 각 AI 요청 경로를 추적해야 한다. 어떤 중개자가 자신의 역할을 설명하지 못한다면, 그 불확실성을 보안 발견 사항으로 취급하라.

Simon Willison의 경고는 먼 회색시장 이야기를 직접적인 엔지니어링 질문으로 바꾼다. 자격 증명, 프롬프트 또는 예산이 다른 사람의 재고가 되기 전에 애플리케이션이 악용을 막을 수 있는가?