Genie One 정확도, 거버넌스 컨텍스트 테스트에서 향상
Databricks는 선별된 에이전트와 거버넌스 기반 비즈니스 컨텍스트를 결합한 가상 보험사 테스트에서 Genie One 정확도가 93~95%에 이르렀다고 밝혔다. 두 구성 요소를 각각 단독으로 사용했을 때의 점수는 83%였다. 2026년 11월 19일 공개된 이 벤더 연구는 익숙한 엔터프라이즈 문제를 다룬다. 서로 다른 팀이 같은 질문에 각각 올바르게 답하면서도 서로 모순될 수 있다는 문제다.
Finance와 Underwriting에 2024년부터 2025년까지 손해율이 개선됐는지 물어보자. 손해율은 보험료 대비 보험 손실을 측정하는 지표다. Databricks의 사례에서 Finance는 8.2%포인트 악화를 보고한 반면, Underwriting은 1.5%포인트 개선을 보고했다. 이들은 서로 다른 비즈니스 정의를 사용해 계산했다.
이 차이는 글의 핵심 긴장을 만든다. 신중하게 준비된 부서별 에이전트와 전체 응답 시스템에서 활용 가능한 정의 사이의 긴장이다. 엔터프라이즈 구매자는 개별 어시스턴트가 자기 부서를 잘 아는지보다 더 까다로운 질문에 직면한다. 인터페이스가 다른 경로를 선택할 때도 더 넓은 범위의 시스템이 그 지식을 보존할 수 있는지를 알아야 한다.
Genie One 정확도 연구가 실제로 테스트한 것
보고된 향상은 부서별 에이전트를 공유 정의로 대체한 것이 아니라, 상호 보완적인 컨텍스트 소스를 결합한 결과였다.
Databricks는 가상 보험사를 구축하고 테이블, 선별된 에이전트, 거버넌스 컨텍스트 또는 이들의 조합을 사용하는 구성에서 125개 질문을 테스트했다. 회사는 governed context study에서 설정과 채점 방식을 설명한다.
이 보험 환경에는 테이블을 공유하고 14개의 PDF를 참조하는 네 개의 선별된 에이전트가 포함됐다. 따라서 질문은 어시스턴트가 숫자를 검색할 수 있는지만 시험한 것이 아니었다. 비즈니스 의미와 문서에 담긴 정보도 살폈다.
Databricks에 따르면 테이블만 사용했을 때의 점수는 64%였다. 선별된 에이전트만 사용한 경우와 거버넌스 레이어만 사용한 경우는 각각 83%를 기록했다. 두 구성을 결합했을 때는 보고된 93~95% 범위에 도달했다.
이 결과는 유사한 전체 점수가 서로 다른 약점을 감출 수 있음을 시사한다. 관련 문서를 갖춘 에이전트는 계산 정의만으로 대체할 수 없는 정보를 제공한다. 공유 정의는 추가 문서가 반드시 해결하지는 못하는 모호성을 다룬다.
Finance와 Underwriting 사례를 보자. Finance는 일부 보험 위험을 다른 보험사로 이전하는 재보험 후의 역년 기준 지표를 사용했다. Underwriting은 재보험 전의 보험증권 연도 기준 지표를 사용했으며, 재난 손실은 제외했다. 상반된 답변은 동일한 표현 안에 숨겨진 서로 다른 질문을 반영했다.
수학적으로 타당한 답을 산출하는 어시스턴트라도 자신이 어떤 해석을 선택했는지 설명해야 한다. 그렇지 않으면 독자는 올바른 부서별 지표를 전사적 결론으로 오해할 수 있다.
이 발표물은 컨텍스트 구성에 관한 새로운 벤더 실험이다. Databricks의 비즈니스 컨텍스트 레이어인 Genie Ontology가 정식 출시됐다는 또 다른 발표로 해석해서는 안 된다.
이 구분은 제품 이정표와 평가가 서로 다른 질문에 답하기 때문에 중요하다. 가용성은 고객이 기능을 사용할 수 있음을 보여준다. 실험은 명시된 조건에서 해당 기능이 어떻게 작동하는지에 관한 증거를 제시한다.
이 연구는 독립적인 고객 배포 사례와도 다르다. Databricks가 기업 환경을 구성하고, 설정을 준비하며, 결과를 보고했다. 이 발견은 주목할 만하지만, 적용 범위는 회사가 테스트한 환경에 한정된다.
구매자에게 유용한 발전은 비교 자체다. 이 벤더 실험에서 결합 구성은 어느 한 구성 요소를 단독으로 사용한 경우보다 뛰어난 성과를 보였다. 이는 잘 준비된 에이전트 모음이 자동으로 신뢰할 수 있는 엔터프라이즈 어시스턴트가 된다는 가정에 의문을 제기한다.
더 넓은 교훈은 현지에서 검증할 가치가 있는 아키텍처 가설이다. 지식은 응답 시스템이 실제로 거치는 경로 전반에서 계속 접근 가능해야 한다. 강력한 부서별 데모만으로는 이를 입증할 수 없다.
부서별 전문성은 분배 문제에 직면한다
에이전트의 지식은 사용자에게 답하는 시스템이 그 지식에 도달해 적용할 수 있을 때에만 도움이 된다.
Genie One은 직접 답변하거나 질문을 에이전트로 라우팅할 수 있다. 라우팅은 요청을 처리할 다른 구성 요소를 선택하는 것을 뜻한다. Databricks는 질문이 해당 에이전트에 도달할 때 에이전트 지침이 적용되며, 모든 직접 답변에 자동으로 따라붙는 것은 아니라고 설명한다.
이는 선별된 Genie 에이전트에 분배 문제를 만든다. 팀은 정의, 예시, 문서에 투자할 수 있지만, 그 전문성을 공통 진입점에서 동일하게 활용 가능하게 만들지는 못할 수 있다.
압박은 먼저 엔터프라이즈 AI 책임자에게 가해진다. 사용자는 전체 어시스턴트를 경험하는 반면, 개발팀은 흔히 개별 구성 요소를 평가한다. 인터페이스가 다른 경로를 선택할 수 있는 상황에서는 구성 요소 수준의 성공만으로 중요한 공백이 남는다.
성과에 대해 묻는 직원은 일반적으로 어떤 내부 구성 요소가 응답해야 하는지 지정하지 않는다. 직원은 어시스턴트가 질문을 이해하고, 관련 증거를 선택하며, 의미 있는 가정을 공개하기를 기대한다.
이러한 기대는 아키텍처를 사용자 대면 문제로 만든다. 응답 경로가 비즈니스 정의를 바꾸면, 인터페이스는 겉보기에는 일관된 경험을 통해 서로 다른 해석을 제시한다. 사용자는 그 기저의 차이를 의심할 이유를 거의 얻지 못한다.
부서별 데이터 소유자는 또 다른 형태의 압박에 직면한다. 다른 팀과 시스템이 적용 범위를 인식할 수 있도록 정의에 충분한 구조가 필요하다. 설명을 전문 어시스턴트 내부에만 유지하면 지역적 유용성은 지킬 수 있지만, 더 넓은 재사용은 제한된다.
Finance와 Underwriting은 일관성이 단순히 동일한 수치를 반환하는 것을 의미할 수 없는 이유도 보여준다. 정당한 비즈니스 차이는 중앙화 이후에도 유지돼야 한다. 공유 시스템은 진정으로 공유되는 사실을 일치시키면서도 이러한 의미를 구분해야 한다.
구매자에게 이는 승인 기준의 질문을 바꾼다. 어시스턴트가 분석가의 답을 재현할 수 있는지 묻는 것만으로는 충분하지 않다. 관련 질문에는 누구의 해석을 사용했는지, 어떤 증거가 이를 뒷받침했는지, 그 해석이 요청자에게 적합한지가 포함된다.
개발자에게도 같은 문제는 실패를 조사하는 방식을 바꾼다. 잘못된 답은 정보 누락, 부적절한 정의, 또는 관련 지침을 우회한 경로를 반영할 수 있다. 이러한 실패에는 서로 다른 수정이 필요하다.
답변이 해당 에이전트를 거치지 않는다면 에이전트 지침에 문단을 하나 더 추가해도 효과는 거의 없다. 여러 문서가 타당하지만 서로 다른 지표를 설명하는 경우에는 문서를 더 추가해도 모호성이 해소되지 않는다.
이 분석은 개인 및 팀 지식의 구분과 연결된다. 개인적 맥락에서 유용한 정보는 다른 사람이 이에 의존할 때 추가적인 소유권과 범위 정의가 필요하다.
이 비유에는 한계가 있다. 개인 지식 도구와 엔터프라이즈 분석 플랫폼은 서로 다른 필요를 충족한다. 그럼에도 둘 다 실용적인 질문을 제기한다. 정보가 원래의 환경을 벗어날 때 어떤 컨텍스트가 함께 따라가야 하는가?
Databricks의 실험은 이 질문에 구체적인 엔터프라이즈 환경을 제공한다. 즉각적인 과제는 부서별 전문가를 우회하는 경로를 포함해 전체 응답 경험 전반에서 비즈니스 의미를 보존하는 것이다.
공유 정의는 문서와 다른 실패를 해결한다
거버넌스 컨텍스트는 비즈니스 의미를 유지할 공간을 제공하며, 에이전트는 보조 자료를 해석하는 역할을 계속 맡는다.
이 연구에서 거버넌스 컨텍스트는 명시적으로 유지되는 비즈니스 정의와 관계를 의미한다. Databricks는 이를 Metric Views, Pages, Domains로 표현했다. 이 구성 요소들은 계산, 설명, 비즈니스 소유권을 설명하는 서로 다른 방식을 제공한다.
Metric Views는 재사용 가능한 계산과 결과를 구성하는 데 쓰이는 필드를 정의한다. Databricks의 metric views documentation는 측정값 정의를 그룹화와 필터링에 쓰이는 필드인 차원과 분리하는 방식을 설명한다.
이 분리는 비즈니스 의미가 모델이 테이블 이름에서 의도를 재구성하는 데 전적으로 의존해서는 안 되기 때문에 중요하다. 인식 가능한 계산은 응답 시스템에 명시적인 출발점을 제공한다.
Pages는 이러한 정의에 관한 설명을 제공한다. Domains는 자산을 비즈니스 영역별로 구성한다. 이러한 구조는 함께 어떤 계산이 어떤 비즈니스 컨텍스트에 속하는지 더 명확하게 할 수 있다.
편집상 함의는 간단하다. 공식과 설명은 관련되어 있지만 서로 다른 문제를 해결한다. 공식은 계산을 명시한다. 설명은 그 계산이 사용자의 질문에 답하는 상황을 제공한다.
문서는 또 다른 목적을 수행한다. 위원회 결정, 서면 권고, 맥락적 설명에는 항상 지표로 환원할 수 없는 증거가 담겨 있다. 문서 경로를 제거하면 수치 뒤에 있는 추론을 잃을 위험이 있다.
이 때문에 동일한 83% 점수는 신중하게 해석할 필요가 있다. 이는 에이전트와 거버넌스 컨텍스트가 상호 교환 가능함을 입증하지 않는다. Databricks의 설명에 따르면 각 구성 요소는 다른 쪽이 남긴 약점을 해결했다.
이 구분은 어시스턴트가 이용할 수 있는 정보를 단순히 확장하는 전략이 불완전한 이유도 설명한다. 자료가 많아지면 어시스턴트가 접할 수 있는 것은 늘어난다. 하지만 특정 의사결정에서 어떤 정의가 권위를 갖는지는 자동으로 식별하지 못한다.
따라서 Genie 거버넌스 컨텍스트는 가용성만큼이나 선택과 관련된다. 여러 의미가 모두 정당한 경우를 포함해, 시스템에는 관련 의미 중에서 방어 가능한 방식으로 선택할 수단이 필요하다.
Snowflake는 유용한 업계 비교 사례를 제공한다. Cortex Analyst는 비즈니스 개념, 지표, 관계를 설명하는 데이터베이스 객체인 시맨틱 뷰를 사용해 자연어 분석을 지원한다.
이 문서는 Databricks 결과에 대한 독립적 평가가 아니라 아키텍처적 맥락을 제공한다. 또 다른 플랫폼이 명시적인 비즈니스 의미를 질문 응답의 입력으로 다루고 있음을 보여준다.
Snowflake는 질문과 그에 대응하는 SQL 쿼리를 연결하는 verified query repository도 문서화한다. SQL은 관계형 데이터를 쿼리하는 데 사용되는 언어다. 이러한 예시는 유사한 질문에 대한 답변을 안내한다.
어느 기능도 경쟁 제품 간 정확도 순위를 입증하지는 않는다. 제품, 구성, 평가는 서로 다르다. 공정한 비교에는 동등한 질문, 증거, 접근 권한, 채점 조건이 필요하다.
경쟁 압력은 헤드라인의 백분율보다 더 광범위하다. 플랫폼은 승인된 비즈니스 의미가 어시스턴트에 어떻게 도달하는지, 전문가가 어떻게 증거를 제공하는지, 이러한 관계가 변화 속에서도 어떻게 유지되는지를 보여줘야 한다.
엔터프라이즈 구매자에게 이는 어느 벤더가 거버넌스를 가장 자주 언급하는지 묻는 것보다 더 유용한 비교다. 핵심 질문은 제안된 아키텍처가 응답 과정 전반에서 비즈니스 정의를 이용 가능하고, 이해 가능하며, 유지 관리 가능하게 만드는지다.
정확도 향상에는 중요한 경계가 있다
이 연구는 보편적인 정확도 약속이나 보안 인증이 아니라 특정 구성에 한정된 결과를 뒷받침한다.
Databricks는 독립적으로 계산한 SQL 기준 답변, 두 명의 AI 평가자, 고정된 채점 규칙, 그리고 2,000회의 부트스트랩 재표본추출을 보고했다. 부트스트래핑은 관측값을 반복적으로 재표본추출해 통계적 불확실성을 추정한다. 동일한 질문의 반복 사례는 함께 그룹화했다.
보고된 표는 통합 구성에 91~98%의 95% 신뢰구간을 부여한다. 신뢰구간은 평가의 통계적 가정 아래 추정치 주변의 불확실성을 나타낸다.
이 구간이 모든 향후 배포를 설명하는 것은 아니다. 실험에 포함되지 않은 비즈니스 정의, 문서 컬렉션 또는 사용자 행동은 반영할 수 없다. 테스트 내부의 통계적 엄밀성은 결과를 다른 환경에 적용할 때의 불확실성을 없애지 못한다.
AI 평가자의 사용 역시 균형 있게 해석할 필요가 있다. 자동 채점은 반복 가능한 평가를 지원할 수 있지만, 여전히 측정 시스템의 일부다. 구매자는 무엇이 정답으로 간주되는지 이해해야 한다.
응답은 정확한 핵심 수치를 포함하면서도 필수적인 단서를 누락할 수 있다. 또한 중요한 의사결정에 충분한 근거를 제시하지 않은 채 올바른 정의를 설명할 수도 있다. 이러한 차이는 평가 기준에 따라 달라진다.
Anthropic의 에이전트 평가 가이드는 명시적인 성공 기준, 반복 시험, 그리고 여러 단계에 걸쳐 작동하는 시스템의 검토를 강조한다. 이는 일반적인 평가 지침이며 Databricks 연구의 검증은 아니다.
이 구분은 비즈니스 결과가 그럴듯한 응답을 생성하는 데서 끝나지 않기 때문에 중요하다. 엔터프라이즈 어시스턴트는 적절한 의미를 선택하고, 이용 가능한 근거를 활용하며, 한계를 전달해야 한다.
가상의 리테일 확장 사례는 또 다른 제한된 신호를 제공한다. 49개 질문에 대해 Databricks는 큐레이션된 에이전트 사용 시 정확도가 54%였으며, 거버넌스가 적용된 컨텍스트를 추가한 뒤 82%로 증가했다고 보고했다.
이는 회사가 구축한 또 다른 시나리오 내에서 그 패턴을 뒷받침한다. 그러나 일반적인 리테일 기업 전반에서 동일한 개선을 입증하지는 않는다. 실제 조직은 각자의 정의, 소스 품질, 운영 제약을 지닌다.
인증 역시 신중히 다뤄야 한다. 이 연구는 인증만으로 독립적인 정확도 향상이 발생한다는 점을 입증하지 않았다. 신뢰 라벨은 의도된 권한을 전달하는 데 도움이 될 수 있지만, 근본적인 정의를 올바르게 만들지는 않는다.
승인된 공식도 여전히 검토가 필요하다. 인증된 자산은 오래될 수 있다. 조직의 승인과 기술적 정확성은 유지보수를 통해 정렬될 때에만 겹친다.
보안 관련 결과는 더 제한적이다. Databricks는 프롬프트 인젝션 사례를 포함해 오해를 유발하는 문서 두 개를 심었다. 프롬프트 인젝션은 신뢰할 수 없는 콘텐츠가 AI 시스템의 행동을 다른 방향으로 유도하려 할 때 발생한다.
제한된 수의 의도적으로 삽입된 사례만으로는 악성 콘텐츠에 대한 폭넓은 저항력을 입증할 수 없다. 서로 다른 공격, 검색 조건, 승인된 도구와의 상호작용에 관한 질문은 여전히 남는다.
팀 컨텍스트 역시 접근 제어와는 별개다. 누군가가 재무팀에서 근무한다는 사실은 질문을 해석하는 데 도움이 될 수 있다. 그러나 그 사람이 어떤 기록을 볼 수 있도록 허용되어야 하는지를 결정하지는 않는다.
따라서 Genie One 정확도는 조건부로 해석하는 것이 적절하다. 보고된 결과는 이러한 시나리오에서 상호 보완적인 컨텍스트 소스를 결합하는 방식을 뒷받침하지만, 프로덕션 신뢰성과 더 광범위한 보안 주장은 추가 근거가 필요하다.
정의 변경은 유지보수 부담을 드러낸다
의미를 중앙화해도 다른 답변 경로가 오래된 복사본에 계속 의존하지 않을 때에만 중복이 줄어든다.
Databricks의 변경 실험은 이 경계를 보여준다. 거버넌스 계층에서 Underwriting 정의를 업데이트하자 Genie One의 답변은 바뀌었지만, 직접 쿼리된 에이전트는 여전히 오래된 공식을 유지했다.
이 단서는 개선만큼이나 중요하다. 중앙 업데이트는 공유 인터페이스를 통해 작동할 수 있지만, 다른 인터페이스는 이전 해석에 계속 연결된 채 남을 수 있다.
그로 인한 위험은 기술적 측면뿐 아니라 조직적 측면에도 있다. 서로 다른 팀은 동일한 승인된 어시스턴트 생태계를 사용한다고 생각하면서도, 서로 다른 버전의 정의에 기반한 답변을 받을 수 있다.
이 지점에서 큐레이션된 Genie 에이전트에는 지속적인 소유권 관리가 필요하다. 공유 컨텍스트가 개선된다고 해서 그 가치가 사라지는 것은 아니다. 내장된 가정은 그러한 가정이 여전히 활성화된 곳마다 계속 관리해야 한다.
엔터프라이즈 구매자에게 중요한 질문은 업데이트가 실제로 어디까지 도달하는가다. 승인된 계산을 변경하면 주요 인터페이스, 부서별 어시스턴트, 저장된 워크플로, 그리고 지원되는 다른 접근 경로에도 영향을 미치는가?
이 질문은 추론으로 답해서는 안 된다. 공유 정의를 참조하는 시스템은 복사된 공식을 저장하는 시스템과 다르게 동작한다. 구성 화면의 유사한 문구만으로는 동일한 업데이트 동작을 입증할 수 없다.
Genie의 거버넌스 컨텍스트는 책임에 관한 결정도 만들어 낸다. 누군가는 정의를 승인하고, 그 범위를 설명하며, 변경이 언제 효력을 발휘하는지 결정해야 한다. 모델은 검색만으로 실제 조직 내 이견을 해결할 수 없다.
새롭게 인식된 비용이 부서 지표에 포함되는지에 관한 가상의 이견을 생각해 보자. 기술 시스템은 두 정의를 모두 보존하거나 승인된 변경을 적용할 수 있다. 그러나 어느 쪽을 선택할지에 필요한 비즈니스 권한을 제공할 수는 없다.
이 구분은 거버넌스가 문서화의 다른 이름이 되는 것을 막는다. 유용한 거버넌스는 의미를 소유권, 검토, 유효 버전과 연결한다. 이러한 관계가 없으면 중앙에 저장된 설명도 여전히 모호할 수 있다.
재사용성과 정당한 전문화 사이에는 긴장 관계도 있다. 기업은 일관성이 중요한 곳에서는 공유 정의가 필요하다. 그러나 부서는 의사결정이 서로 다른 범위에 좌우될 때 별도의 지표도 필요하다.
해답은 모든 용어를 전사 단일 공식으로 평탄화하는 것이 아니다. 그렇게 하면 Finance와 Underwriting이 보여준 바로 그 차이가 사라진다. 대신 시스템은 이러한 차이를 명시적이고 적용 가능하게 만들어야 한다.
따라서 유지보수 근거에는 변경된 동작과 변경되지 않은 동작이 모두 포함되어야 한다. 의도한 업데이트는 관련 답변에 도달해야 한다. 관련 없는 지표는 기존 의미를 유지해야 한다.
이는 Databricks가 모든 의존성을 해결했다는 주장이 아니라 분석상의 요구 사항이다. 공개된 단서는 구매자가 전체 구성을 점검해야 하는 이유를 보여준다.
같은 원칙은 보조 문서에도 적용된다. 최신 계산식에 오래된 설명이 결합되어 있어도 사용자를 오도할 수 있다. 일관된 답변은 정의와 서술적 컨텍스트가 계속 정렬되어 있어야 한다.
데이터 팀에게 이 연구는 초기 큐레이션에서 지속적인 운영으로 관심을 옮긴다. 설득력 있는 어시스턴트를 준비하는 것은 하나의 이정표다. 지원되는 활용 방식 전반에서 일관된 의미를 유지하는 일은 더 긴 약속이다.
이 운영 부담은 구매 논의에도 포함되어야 한다. 높은 평가 점수는 가치가 있지만, 구매자는 비즈니스 변화에 따라 그 점수를 유지하기 위해 필요한 작업을 이해해야 한다.
세 가지 신호가 결과의 적용 범위를 결정할 것이다
다음으로 의미 있는 근거는 전이 가능성, 업데이트 동작, 안전한 답변의 경계를 검증해야 한다.
첫 번째로 주시할 신호는 실제 조직의 질문을 활용한 독립 평가다. 향후 수개월 동안 고객 주도의 결과는 보고된 패턴이 가상의 기업 밖에서도 유지되는지 확인하는 데 도움이 될 것이다.
유용한 근거는 시작 구성, 추가된 컨텍스트, 채점에 사용된 질문을 설명할 것이다. 이러한 세부 정보 없는 핵심 개선 수치는 구매자가 비교 가능성을 판단하지 못하게 한다.
상호 보완적인 컨텍스트가 다양한 조직에서 개선을 만들어 낸다면 이 신호는 연구의 관련성을 강화할 것이다. 결과가 약하거나 일관되지 않다면 준비 품질과 현지 조건에 더 큰 비중을 두어야 함을 시사할 것이다.
이 아키텍처를 판매하는 회사가 이 실험도 설계했기 때문에 독립성이 중요하다. 그렇다고 결과가 무효가 되는 것은 아니다. 다만 서로 다른 인센티브와 제약을 가진 조직의 근거를 찾아야 할 이유가 된다.
두 번째 신호는 비즈니스 정의가 변경된 뒤의 일관성이다. 구매자는 공유 인터페이스, 전문 에이전트, 기타 지원 경로 전반에서 문서화된 동작을 살펴봐야 한다.
업데이트가 의도된 모든 소비자에게 도달한다는 근거는 유지보수 주장을 강화할 것이다. 주요 인터페이스가 잘 작동하더라도 오래된 답변이 계속 남는다면 중앙화의 실질적 한계가 드러날 것이다.
이 신호는 초기 정확도와 지속적 정확도가 서로 다른 약속이기 때문에 특히 중요하다. 신중하게 준비된 환경은 출발점을 마련한다. 프로덕션 사용에는 변화하는 정책, 수정된 계산, 서로 다른 효력 발생일을 가진 문서가 추가된다.
결정적인 근거는 적절한 답변은 바뀌고 관련 없는 답변은 안정적으로 유지됨을 보여줄 것이다. 그러면 정의가 중앙에 존재한다는 진술보다 거버넌스 주장을 더 구체적으로 만들 수 있다.
세 번째 신호는 지원되지 않는 질문, 오해를 유발하는 콘텐츠, 권한에 대한 더 폭넓은 테스트다. 이들은 서로 다른 문제지만 공통 요구 사항이 있다. 어시스턴트는 자신이 답해야 할 범위의 경계를 존중해야 한다.
구매자는 이용할 수 없는 근거와 행동을 다른 방향으로 유도하려는 시도에 대한 명확한 보고를 찾아야 한다. 또한 컨텍스트 기반 개인화와 접근 권한의 집행을 구분해야 한다.
성공적인 결과는 더 넓은 시스템에 대한 신뢰를 강화할 것이다. 실패는 비즈니스 정의에 관한 더 제한적인 결과를 자동으로 뒤집기보다 별도의 통제가 필요한 영역을 식별할 것이다.
이러한 신호 중 어느 것도 현재 실험을 중요하지 않은 것으로 취급할 필요는 없다. 이 연구는 구체적인 가설과 구성 비교를 제공한다. 후속 테스트가 그 비교가 성립하는 조건을 검토할 때 그 가치는 커진다.
엔터프라이즈 의사결정권자에게 실질적인 함의는 컨텍스트 아키텍처를 검토 가능하게 만드는 것이다. 공급업체는 정의가 어디에 있는지, 답변이 어떻게 그 정의에 도달하는지, 변경 시 무엇이 일어나는지를 설명할 수 있어야 한다.
개발자에게 함의는 전체 답변 경로에서 실패를 점검하는 것이다. 더 나은 프롬프트는 여전히 유용하지만, 응답 구성 요소가 받지 못하는 컨텍스트를 보완할 수는 없다.
Genie One 정확도 수치에 의존하기 전에, 자체 팀들이 서로 다르게 해석하는 비즈니스 질문을 선택하라. 공급업체에 답변, 그 정의, 뒷받침 근거, 그리고 승인된 변경 이후의 동작을 보여 달라고 요청하라.
직원들이 실제로 사용할 공유 인터페이스와 모든 전문 에이전트를 포함하라. 필요한 근거가 없을 때 무엇이 일어나는지, 정의가 갈라질 때 누가 수정을 책임지는지도 물어보라.
결과를 사용해 이 아키텍처가 운영 요구 사항에 맞는지 판단하라. Databricks의 연구는 에이전트와 거버넌스 컨텍스트를 함께 테스트해야 한다는 설득력 있는 근거를 제시한다. 최종 수용 결정은 데이터, 문서, 의사결정이 변화하는 과정에서도 이 조합이 조직의 의미를 보존하는지에 달려 있어야 한다.



