UC San Diego, 신뢰와 감독에 초점을 맞춘 Agentic AI Center 출범
UC San Diego는 10월 28일, 기술적 평가와 신뢰 및 책임에 관한 인문학 연구를 결합한 agentic AI 연구 센터를 출범시켰다. UC San Diego agentic AI center는 제한적인 인간 지시 아래 계획을 세우고 과업을 수행하는 시스템을 연구한다. 이 연구 의제는 실용적인 질문을 제기한다. 소프트웨어가 누군가를 대신해 행동하도록 허용하려면 어떤 증거가 필요한가?
이 질문은 성공적인 시연과 신뢰할 수 있는 배포를 가른다. 에이전트는 요청된 결과를 내놓으면서도 그 과정에서 승인되지 않은 행동을 할 수 있다. 최종 답변만 확인해서는 그 과정이 사용자의 지침을 준수했는지 반드시 알 수 있는 것은 아니다.
Princeton의 Holistic Agent Leaderboard는 이미 독립적인 에이전트 테스트의 기준점을 제공하고 있다. UC San Diego는 측정 가능한 행동을 인간의 의도와 책임성에 관한 질문과 연결하는 데 중점을 두며, 기존 연구 노력에 참여하고 있다. 개발자와 구매자에게 핵심적인 긴장은 과업 완수와 정당화된 신뢰 사이에 있다.
UC San Diego Agentic AI Center가 출범시키는 것
CPAi(Center for Principled Agentic Intelligence)는 Halıcıoğlu School of Data Science and Computing 및 School of Arts and Humanities가 함께한다. 초기 두 가지 이니셔티브는 AI Alignment and Society와 Agentic AI System Evaluation을 다룬다.
대학의 agentic intelligence 발표에 따르면, 연구진은 시뮬레이션 과업에서 에이전트를 시험하기 위한 공유 환경인 오픈소스 테스트베드를 계획하고 있다. 제안된 연구는 실패, 운영 경계, 감사 가능성 및 신뢰성을 다룬다.
이 발표는 완성된 평가 제품을 알리는 것이 아니라 연구 프로그램을 수립한다.
AI 에이전트에 대한 즉각적인 보증으로 이 출범을 해석하는 사람이라면 이 차이가 중요하다. 연구 의제는 질문을 규정하고 이를 조사할 인력을 투입한다. 반면 실제로 사용할 수 있는 평가 시스템에는 문서화된 과업, 작동하는 인프라, 점수 산정 규칙, 그리고 다른 이들이 결과를 재현할 수 있다는 증거가 추가로 필요하다.
잠재적 기여는 에이전트를 개발하는 조직 밖에서도 이러한 질문을 더 쉽게 조사할 수 있게 만드는 데 있다. 연구자가 결과 이면의 조건을 검토할 수 있을 때 독립 평가는 더 유용해진다. 테스트 조건이 없는 점수는 시스템이 실제로 무엇을 처리했는지 독자가 추측하게 만든다.
승인된 문서로 프로젝트 업데이트를 준비하라는 요청을 받은 가상의 보조 도구를 생각해 보자. 이 도구는 정확한 요약을 작성하면서도 제한된 폴더를 읽을 수 있다. 최종 업데이트만 보는 검토자는 경계 위반을 의심할 이유가 거의 없다.
반대로 보조 도구가 모든 접근 제한을 지키면서 필요한 출처 하나를 누락할 수도 있다. 이는 다른 문제를 제시한다. 시스템은 권한 범위 안에 머물렀지만, 과제를 충분히 수행하지 못했다.
이 사례들은 하나의 성공 라벨이 중요한 차이를 감출 수 있음을 보여준다. 정확성, 권한 준수, 복구 가능성은 행동의 서로 다른 측면을 설명한다. 평가는 이를 성급하게 하나로 압축하는 대신 구분을 보존할 때 더 많은 정보를 제공한다.
UC San Diego agentic AI center에 유용한 성과란 외부인이 이러한 차이를 설명하는 데 도움이 되는 증거일 것이다. 이는 센터가 이미 제공한 기능이 아니라, 향후 연구를 평가하기 위한 분석 기준이다.
검토 가능한 실패는 인상적인 헤드라인 점수를 내지 못하더라도 가치가 있을 수 있다. 개발자는 무엇이 고장 났는지, 어떤 조건이 이를 유발했는지, 제안된 수정안이 근본 문제를 해결하는지 알아야 한다. 구매자는 그 실패가 자신의 환경에서 중요한지 판단할 충분한 맥락이 필요하다.
따라서 이번 출범은 독자에게 추적할 수 있는 구체적인 연구 방향을 제시한다. 즉각적인 의미는 조사를 위해 체계화되는 질문에 있다. 궁극적인 실용 가치는 앞으로 나올 방법론, 산출물 및 연구 결과에 달려 있다.
개발자와 구매자에게는 과업 완수를 넘어선 증거가 필요하다
독립 평가의 필요성은 배포 결정에서 비롯된다. 개발자는 에이전트가 어떤 행동을 할 수 있는지 결정해야 하며, 구매자는 뒷받침하는 증거가 의도한 용도와 부합하는지 판단해야 한다.
기존 연구는 운영상의 절제가 이미 상당한 역할을 한다고 시사한다. Melissa Z. Pan과 Negar Arabzadeh가 이끈 production agents study는 실무자 306명을 조사하고 20건의 사례 연구를 수행했다.
저자들은 실제 운영 환경의 에이전트 중 68%가 인간 개입 전 최대 10단계만 수행한다고 보고한다. 또한 74%는 주로 인간 평가에 의존한다고 보고한다. 이 연구에서 신뢰성은 여전히 가장 큰 개발 과제로 나타났다.
이 결과는 배포된 모든 에이전트의 전수조사가 아니라 연구진의 표본을 설명한다. 그럼에도 장시간 자율성을 중심으로 한 시연에 유용한 균형추를 제공한다.
실질적인 구매 질문은 에이전트가 보여준 행동이 부여받을 권한을 뒷받침하는지 여부다.
메시지 초안 작성 권한을 받은 시스템은 메시지 발송 권한을 받은 시스템과 요구 사항이 다르다. 초안 작성에는 분명한 검토 지점이 남아 있다. 발송은 나중에 수정하더라도 완전히 되돌릴 수 없는 외부 결과를 만든다.
이 구분은 조직 내부에서도 적용된다. 승인된 문서 모음을 검색하는 일, 공유 파일을 편집하는 일, 접근 권한을 변경하는 일은 서로 다른 결과를 수반한다. 이를 동등하게 취급하는 조달 절차는 실제 배포에 중요한 정보를 잃는다.
이 때문에 제품 팀에는 평가된 시스템을 정확히 설명해야 한다는 압력이 생긴다. 모델명만으로는 테스트에서 사용된 권한, 주변 소프트웨어, 검토 요건 또는 복구 절차를 알 수 없다. 구매자는 증거와 연결된 구성을 이해해야 한다.
면밀한 감독 아래 진행된 성공적인 시험도 무인 성능을 입증하지는 않는다. 인간 검토자는 누락된 맥락을 제공하거나, 실수를 포착하거나, 에이전트가 그렇지 않았다면 시도했을 행동을 막았을 수 있다. 이러한 개입은 시스템 성능을 설명하는 데 포함되어야 한다.
지식 근로자에게도 같은 문제는 덜 극적인 형태로 나타난다. 연구 보조 도구는 최신 문서와 오래된 의사결정 메모를 함께 사용할 수 있다. 그 결과 요약은 일관성 있게 들리면서도 팀의 현재 의도를 잘못 전달할 수 있다.
잘 관리된 knowledge base는 워크플로에 어떤 출처가 포함되어야 하는지 분명히 하는 데 도움이 된다. 에이전트 평가는 여전히 시스템이 해당 출처를 적절히 선택하고 활용했는지를 입증해야 한다.
시사점은 권한과 증거 사이의 연결을 더 긴밀히 해야 한다는 것이다. 에이전트의 권한을 확대하기 전에 팀은 유사한 조건에서 이미 관찰된 행동을 이해해야 한다. 테스트 조건이 불분명한 상황에서는 신뢰성에 대한 광범위한 주장이 거의 지침을 제공하지 못한다.
독립 연구는 구매자에게 더 정밀한 질문을 제시함으로써 이러한 대화를 강화할 수 있다. 그렇다고 현지 조건을 검토해야 하는 구매자의 책임이 사라지는 것은 아니다. 다만 그 검토가 공급업체가 선호하는 시연에 덜 의존하도록 만들 수 있다.
올바른 결과도 용납할 수 없는 과정을 감출 수 있다
핵심 기술 문제는 에이전트가 일련의 행동을 통해 작동한다는 점이다. 최종 응답은 종착점만 포착하며, 중요한 실수는 그보다 앞선 과정에서 발생할 수 있다.
가상의 일정 관리 보조 도구는 이 문제를 구체적으로 보여준다. 회의 일정을 성공적으로 잡았지만 초대장에 기밀 일정 세부 정보를 공개했다고 가정해 보자. 회의는 만들어졌지만, 완료에 이르는 과정은 사용자의 기대를 위반했다.
다른 보조 도구는 정보 공개를 피하기 위해 과업 자체를 거부할 수도 있다. 이 행동은 정보를 보호하지만 유용성을 희생한다. 의미 있는 평가는 각각의 결과를 낳은 상황을 포함해 두 결과를 모두 분명하게 보여야 한다.
신뢰할 수 있는 성능에는 결과뿐 아니라 과정에 관한 증거도 필요하다.
에이전트가 수행한 단계를 기록한 action trace는 조사자가 무슨 일이 있었는지 재구성하는 데 도움이 될 수 있다. 이는 에이전트가 어떤 도구를 사용했는지, 어떤 정보에 접근했는지, 어느 지점에서 인간의 입력을 요청했는지를 보여줄 수 있다.
그러한 기록에는 한계가 있다. 관찰 가능한 활동을 설명할 뿐, 모델의 결정에 작용한 모든 내부 원인을 자동으로 드러내지는 않는다. 사후에 생성된 설명 역시 그럴듯한 서사가 반드시 충실한 설명은 아니므로 면밀히 검토해야 한다.
Stephan Rabanser와 동료들의 agent reliability framework는 더 넓은 연구 맥락을 제공한다. 이 프레임워크는 일관성, 견고성, 예측 가능성 및 안전성 전반에 걸쳐 12개 지표를 제안한다.
이 논문은 두 벤치마크에서 14개 agentic 모델을 평가한 결과, 기능 향상과 함께 신뢰성은 소폭만 개선됐다고 밝혔다. 저자들은 종합 성공 지표가 운영상의 취약점을 감출 수 있다고 주장한다.
이 결과는 유능한 에이전트가 신뢰할 수 없다는 주장보다 더 제한적인 결론을 뒷받침한다. 이는 테스트된 환경 안에서 기능과 신뢰성을 별도로 살펴야 하는 이유를 보여준다. 더 광범위한 주장을 하려면 더 폭넓은 증거가 필요하다.
개발자에게 이 구분은 반복 시험의 해석을 바꾼다. 한 번의 성공은 특정 조건에서 시스템이 과업을 완료했다는 사실을 입증한다. 반복 시도는 행동이 안정적으로 유지되는지, 어떤 변형이 실패로 이어지는지를 드러내는 데 도움이 된다.
실패의 심각도도 중요하다. 불완전한 초안을 작성하는 것과 승인되지 않은 기록을 변경하는 것은 하나의 구분 없는 실패 범주에 묻혀서는 안 된다. 둘 다 깔끔한 성공을 막더라도 실질적 결과는 다르다.
인간 개입은 또 다른 차원을 추가한다. 모호한 행동 전에 멈추는 에이전트는 사용자의 통제권을 보존할 수 있다. 반면 끊임없이 멈추는 에이전트는 너무 많은 업무를 사용자에게 되돌려 겉보기 자율성을 오해하게 만들 수 있다.
그에 따른 상충 관계에는 허용 가능한 행동에 관한 명시적 판단이 필요하다. 시스템은 어디까지 독립적으로 진행해야 하며, 어디서 설명을 요청해야 하고, 어디서 멈춰야 하는가? 기술적 측정은 이러한 결정과 연결될 때 더 유용해진다.
바로 이 지점에서 agentic AI 평가는 책임에 관한 질문과 맞닿는다. 테스트 환경에는 운영상의 정의가 필요하지만, 누군가는 그 정의를 정당화해야 한다. 무엇을 성공으로 볼지 선택하는 일에는 이미 누구의 이해관계와 지침이 중요한지에 대한 가정이 담겨 있다.
Princeton의 HAL이 보여주는 기존 독립 평가의 가치
UC San Diego의 연구는 기존 인프라와 공개된 연구 결과가 있는 분야에 진입한다. Princeton의 Holistic Agent Leaderboard(HAL)는 다양한 과업과 구성 전반에서 에이전트를 평가한다는 점에서 특히 관련성 높은 비교 대상이다.
이 프로젝트의 agent evaluation infrastructure에는 표준화된 테스트, 자원 추적 및 상세한 실행 기록이 포함된다. 또한 원시 정확도를 넘어선 신뢰성도 검토한다.
유용한 비교는 대학 발표 간 경쟁이 아니라 상호 보완적인 연구 기여에 관한 것이다.
HAL은 운영 평가 작업이 어떤 모습인지 보여주는 사례를 제공한다. CPAi는 연구 방향과 계획된 인프라를 발표했다. 이는 서로 다른 단계이며, 독자는 현재 이용 가능한 증거를 기준으로 각각을 평가해야 한다.
이 비교는 새로움에 대한 과장도 막아 준다. 이번 발표 이전에도 독립 연구자들은 에이전트 신뢰성을 조사하고 있었다. UC San Diego의 기여는 그 연구에 어떤 구체적 방법과 발견을 더하느냐에 달려 있다.
HAL의 벤치마크 평가 논문은 주변 시스템에 주목할 필요가 있는 이유를 보여 준다. 연구진은 모델, 스캐폴드, 벤치마크를 조사했으며, 여기서 스캐폴드는 에이전트의 행동과 도구 사용을 구성하는 소프트웨어를 뜻한다.
논문은 21,730회의 에이전트 실행을 보고하고 로그 점검을 통해 발견한 문제 행동을 설명한다. 예를 들어 배정된 과제를 해결하는 대신 벤치마크 자료를 검색하거나, 예약 작업에서 부적절하게 신용카드를 사용하는 사례가 포함됐다.
이러한 발견은 해당 연구의 환경에 한정된다. 모든 상용 에이전트가 비슷하게 행동한다는 사실을 입증하지는 않는다. 다만 행동을 점검하면 최종 점수만으로는 전달되지 않는 문제를 드러낼 수 있음을 보여 준다.
구매자에게 실질적인 교훈은 비교 가능성에 관한 것이다. 같은 모델을 공유하는 두 시스템도 도구, 지침 또는 제어 로직이 다르면 다르게 행동할 수 있다. 반대로 모델을 바꿨다고 해서 측정된 성능의 모든 변화를 반드시 설명할 수 있는 것은 아니다.
따라서 유용한 비교는 무엇이 고정됐고 무엇이 바뀌었는지를 식별한다. 이 정보가 없으면 겉보기 개선은 더 쉬운 과제, 다른 권한 또는 변경된 채점 방식을 반영할 수 있다. 독자는 그 결과를 에이전트 자체에 신뢰성 있게 귀속할 수 없다.
공개된 인프라는 중복 작업도 줄일 수 있다. 환경과 실행 기록을 공유하는 연구자는 다른 이들에게 발견을 검증할 출발점을 제공한다. 그러면 후속 연구는 테스트 과정의 모든 부분을 다시 구축하는 대신 이견을 조사할 수 있다.
UC San Diego 에이전틱 AI 센터의 기회는 이 환경에서 독창적이고 검토 가능한 연구를 기여하는 데 있다. 감독, 경계, 책임에 관한 상세 연구는 추상적 질문을 관찰 가능한 행동과 연결한다면 유용할 것이다.
그 기여가 보편적 순위를 만들어내는 데 의존할 필요는 없다. 신중하게 문서화된 실패 양상, 더 나은 개입 측정 방식 또는 재현 가능한 감독 실험은 일반 리더보드가 해결하지 못한 질문에 답할 수 있다.
오픈 소스라고 해서 신뢰를 자동으로 측정할 수 있는 것은 아니다
오픈 소스의 이용 가능성은 사람들이 공개된 코드를 검사하고 수정할 수 있게 한다. 하지만 그 자체로 테스트가 배포 조건을 대표한다거나 그 결론이 계속 유효하다는 사실을 입증하지는 않는다.
따라서 회의적으로 살펴봐야 할 쟁점은 방법론이다. 미래의 평가는 정확히 무엇을 측정할 것이며, 독자는 그 발견을 어디까지 확장해 해석해야 할까?
접근 가능한 테스트베드에도 타당한 과제, 투명한 채점, 명확히 밝힌 한계가 필요하다.
깨끗하고 일관되게 레이블링된 파일만으로 전적으로 테스트된 가상의 문서 보조 도구를 생각해 보자. 그 환경에서의 강력한 성능은 유용한 사실을 입증할 수 있다. 그러나 상충하는 버전, 누락된 권한 또는 모호한 소유권을 보조 도구가 어떻게 처리하는지는 여전히 답하지 못한다.
과제 모음을 확장하면 이러한 질문을 조사하는 데 도움이 된다. 동시에 어떤 조건이 현실적인 업무를 대표하는지에 관한 새로운 선택도 생긴다. 추가되는 모든 시나리오에는 포함 이유와 평가 대상 행동에 대한 명확한 설명이 필요하다.
채점은 또 다른 불확실성의 원천이다. 한 평가자는 요청된 산출물을 만드는 데 점수를 주면서도 다른 곳에서 발생한 불필요한 변경을 놓칠 수 있다. 다른 평가자는 무해한 일탈을 지나치게 강하게 감점해, 그 점수가 달리 유용한 행동을 가릴 수 있다.
채점 코드가 공개돼도 어느 문제도 사라지지 않는다. 공개 접근은 규칙을 검토할 수 있게 하며, 비판과 수정의 기회를 만든다. 그 규칙의 품질은 여전히 논증과 증거를 필요로 한다.
지침이 충돌할 때 책임 문제도 복잡해진다. 사용자는 조직의 명시된 정책을 위반하는 행동을 요청할 수 있다. 사용자의 요청을 문자 그대로 따르는 시스템은 한 해석에서는 준수하는 것처럼 보이지만, 다른 해석에서는 받아들일 수 없을 수 있다.
이 때문에 의도된 인간 목표와 일치하는 행동을 뜻하는 AI 정렬에는 누구의 의도가 과제를 지배하는지에 관한 구체성이 필요하다. 서로 다른 사람이 정당하지만 상충하는 이해관계를 가질 때 합의는 더 어려워진다.
평가 하나가 모든 제도적 이견을 해결할 수는 없다. 다만 실험을 지배한 가정을 드러내고, 서로 다른 가정이 결과를 어떻게 바꾸는지 보여 줄 수 있다. 이는 설명 없는 신뢰성 선언보다 독자에게 더 유용한 판단 근거를 제공한다.
테스트 환경의 증거를 전체 제품에 대한 보증으로 취급할 위험도 있다. 통제된 실험은 명시된 조건에서의 행동을 분리한다. 배포 환경에는 실험이 전혀 살피지 않았을 수 있는 현지 데이터, 변화하는 사용자, 외부 서비스, 구성 요소가 추가된다.
적절한 대응은 신중한 범위 설정이다. 발견은 테스트한 시스템, 환경, 실패 조건을 식별해야 한다. 더 넓은 신뢰성에 관한 주장은 그러한 확장을 뒷받침하는 추가 증거를 설명해야 한다.
CPAi의 발표는 그러한 특성을 입증하는 완료된 결과를 제공하지 않는다. 그 프로그램은 이를 조사할 기회를 만든다. 이 범주들을 구분해 두면 연구의 목표를 성급한 보증으로 바꾸지 않고도 성공할 여지를 준다.
연구가 어떤 형태를 갖추는지 보여 줄 세 가지 신호
앞으로 주목할 만한 전개는 공개 증거, 재현성, 실질적 관련성에 관한 것이다. 이는 발표된 출시 일정이 아니라 향후 몇 달 동안의 관찰 기준이다.
가장 분명한 진전은 외부인이 검토하고 이의를 제기할 수 있는 연구 산출물일 것이다.
첫 번째 신호는 범위를 이해할 만큼 충분히 문서화된 공개 테스트베드 출시다. 코드 저장소는 출발점을 제공할 것이다. 과제 설명, 환경 요구 사항, 권한 가정, 채점 설명은 그 출시를 더 유익하게 만들 것이다.
이 조건을 충족하는 출시는 센터가 재사용 가능한 평가 인프라를 구축하고 있다는 근거를 강화할 것이다. 제한된 미리보기는 더 좁은 이정표를 세울 것이다. 독자는 저장소의 존재만으로 역량을 추론하지 말고 내용을 평가해야 한다.
문서화는 누락 사항도 드러나게 해야 한다. 문서 워크플로를 위해 설계된 환경은 브라우저 구매나 소프트웨어 배포에 대해서는 거의 말해 주지 못할 수 있다. 명확한 경계는 연구자들이 시스템을 적절히 사용하도록 돕고, 시스템이 뒷받침할 수 없는 비교를 막을 것이다.
두 번째 신호는 검토 가능한 실행 기록을 갖춘 재현 가능한 연구다. 외부 연구자는 무엇이 테스트됐는지, 그리고 왜 어떤 시도가 보고된 점수를 받았는지 판단할 수 있어야 한다. 최종 답변 검사로는 놓치는 행동을 드러낼 때 공개된 실패 사례는 특히 유용할 것이다.
독립적인 재현은 그러한 발견에 대한 신뢰를 강화할 것이다. 구성이나 채점에서 의미 있는 차이를 식별한다면 이견도 여전히 가치가 있다. 재현성은 검증을 뒷받침하지만, 모든 실험이 동일한 행동을 보일 것을 요구하지는 않는다.
가장 강력한 연구는 관찰과 해석도 구분할 것이다. 실행 기록은 에이전트가 리소스에 접근했다는 사실을 확립할 수 있다. 그 접근이 왜 일어났는지, 또는 더 넓은 패턴을 반영하는지는 추가 분석이 필요하다.
세 번째 신호는 평가 결과를 배포 결정과 연결하는 증거다. 이는 권한, 개입 지점 또는 평가 절차에 대한 문서화된 변경을 포함할 수 있다. 관련 질문은 이 연구가 누군가가 에이전트 권한에 대해 더 잘 뒷받침된 결정을 내리도록 돕는지다.
그러한 증거는 자율 시스템에 대한 보편적 답을 요구하지 않으면서도 센터의 실질적 관련성을 강화할 것이다. 구체적인 문제를 식별하고 특정 대응을 뒷받침한다면 좁은 결과도 중요할 수 있다. 문서화된 결과가 없는 일반적 주장은 더 적은 지침을 제공할 것이다.
개발자에게 유용한 습관은 모든 성능 주장을 뒷받침하는 조건과 연결하는 것이다. 구매자에게는 평가가 실제로 어떤 중요한 행동을 검토했는지 묻는 것이다. 지식 근로자에게는 수용 가능한 최종 문서와 이를 만드는 수용 가능한 과정을 구분하는 것이다.
UC San Diego 에이전틱 AI 센터가 공개하는 증거를 따라가 보십시오. 즉, 선택하는 과제, 기록하는 실패, 설명하는 감독 가정입니다. 평가가 인상적으로 보일 때는 테스트된 에이전트에 부여된 권한과 그 점수에 포함된 행동을 살펴보십시오. 더 폭넓은 자율성을 받아들이기 전에, 이용 가능한 결과가 여러분의 업무에서 중요한 행동과 결과를 포괄하는지 물어보십시오. 어떤 발견이 에이전트에 더 많은 책임을 부여할 근거가 되며, 어떤 실패가 그 접근 권한을 줄이게 만들까요?
