Databricks Vital Skills, Genie Code에 의료 절차 추가
Databricks는 10월 27일, 작동하는 코드와 방어 가능한 의료 분석 사이의 간극을 겨냥해 Genie Code용 Vital Skills를 공개했다. Databricks Vital Skills는 프로그래밍 작업을 계획하고 실행하는 소프트웨어인 자사 코딩 에이전트를 위한 도메인 절차를 패키지화한다. 이번 발표는 코드 생성만으로는 해결할 수 없는 의사결정에 주목하게 한다.
핵심적인 긴장은 명확하다. 에이전트는 사용자가 승인하지 않은 방법론적 선택을 하면서도 실행 가능한 분석을 만들어낼 수 있다. 시스템이 모호한 설명을 다르게 해석하면 환자 집단이 달라질 수 있다. 완성된 노트북은 미완의 의사결정을 감출 수 있다.
Anthropic은 이미 재사용 가능한 지침과 지원 리소스 패키지인 Agent Skills를 통해 유사한 접근법을 발전시켰다. Databricks는 이 접근법을 의료 및 생명과학 워크플로에 적용한다. 엔터프라이즈 구매자에게는 단순히 더 많은 결과물을 생산하는지가 아니라, 패키지화된 절차가 검토 가능한 업무를 개선하는지가 관건이 된다.
Databricks Vital Skills는 새 모델이 아니라 절차를 패키지화한다
이번 발표의 핵심은 새로운 기반 모델을 도입하는 것이 아니라, 에이전트가 전문 업무를 수행하는 방식을 바꾸는 데 있다.
Databricks는 Vital Skills를 Genie Code를 위한 재사용 가능한 의료 및 생명과학 지침으로 설명한다. healthcare agent skills 발표에서는 지원되는 생물의학 작업에서 성능이 향상됐다고 밝혔다. 이는 배포 결과에 대한 독립적인 확인이 아니라 회사 자체 평가다.
이 구분은 모델 업그레이드와 절차 업데이트가 서로 다른 문제를 해결하기 때문에 중요하다. 더 유능한 모델은 요청을 더 잘 해석할 수 있다. 절차는 어떤 결정에 승인이 필요한지, 어떤 도구가 실행을 맡아야 하는지, 어떤 근거가 결과물에 포함돼야 하는지를 지정할 수 있다.
보조자에게 환자 기록을 분석해 달라고 요청하는 것과, 승인된 분석 프로토콜을 따르도록 요청하는 것의 차이를 생각해 보자. 두 요청 모두 비슷해 보이는 차트를 만들 수 있다. 그러나 후자만이 차트가 설득력을 갖기 전에 의도한 방법을 명시한다.
상업적 의미는 이 분리에서 나온다. 조직이 모든 전문 작업마다 반드시 다른 모델을 필요로 하는 것은 아니다. 일반적인 추론을 승인된 방법, 로컬 데이터 정의, 책임 있는 검토와 안정적으로 연결하는 방식이 필요하다.
이는 코딩 보조자를 평가하는 기준도 바꾼다. 코드 품질은 여전히 중요하지만, 더 폭넓은 평가의 한 부분이 된다. 구매자는 에이전트가 모호성을 어떻게 다루는지, 가정을 어떻게 기록하는지, 작업이 지침의 범위를 벗어날 때 어떻게 대응하는지도 파악해야 한다.
이는 분석이 원래 작성자를 넘어 전달될 때 특히 중요하다. 작성자에게는 명확해 보이는 노트북도 검토자에게는 포함 규칙을 추측하게 할 수 있다. 보기 좋은 보고서는 표현 방식이 완결성을 암시하기 때문에 그러한 불확실성을 더 알아차리기 어렵게 만들 수 있다.
따라서 Databricks Vital Skills는 제품 논의에 절차적 지식을 포함시킨다. 유용한 질문은 해당 지식이 실행 중에도 계속 보이고 검증 가능한지다. 검토자가 실제 수행된 작업과 연결할 수 없다면 지침 패키지의 가치는 제한적이다.
이 접근법은 유지보수의 의미도 바꾼다. 조직은 이를 사용하는 소프트웨어와 함께 절차도 고려해야 한다. 오래된 방법은 에이전트가 일관되게 따른다는 이유만으로 적절해지지 않는다.
스킬을 설치하는 것과 워크플로를 도입하는 것 사이에는 실질적인 차이도 있다. 설치는 지침을 사용할 수 있게 한다. 도입에는 그 지침이 어디에 적용되는지, 해석의 책임자가 누구인지, 어떤 근거가 수용 가능한 성능을 입증하는지를 결정하는 일이 필요하다.
이번 발표는 이러한 운영 관점에서 볼 때 가장 중요한 의미를 갖는다. 전문성을 패키지화하는 방법을 제공하지만, 그 패키지가 실제 업무에 맞는지는 조직이 판단해야 한다는 책임을 남긴다.
의료 분석가는 더 엄격한 완료 기준에 직면한다
압박을 받는 팀은 에이전트가 분석 생성을 마친 뒤에도 그 분석을 방어해야 하는 책임을 맡은 팀이다.
의료 분석가에게 어려움은 종종 계산 이전부터 시작된다. 요청은 일상적인 언어로 인구집단, 결과 또는 비교 대상을 설명한다. 이 요청을 분석으로 전환하려면 최종 코드에서는 보이지 않을 수 있는 선택이 필요하다.
분석을 위해 선택된 환자의 정의된 집단을 뜻하는 코호트는 이 문제를 잘 보여 준다. “조절되지 않는 당뇨병 환자”라는 표현은 대화에서는 충분히 구체적으로 들린다. 하지만 분석적 결정은 여전히 해결되지 않은 채 남는다.
실질적인 결과는 요청에 합의했다고 해서 구현에 합의한 것이 보장되지는 않는다는 점이다. 해석이 다르면 환자 집단도 달라질 수 있다. 원래의 의사결정 이력 없이 검토하면 각 구현 모두 그럴듯해 보일 수 있다.
이 때문에 코딩 에이전트가 보이는 확신은 면밀히 살펴볼 필요가 있다. 빠른 답변은 해결되지 않은 여러 선택을 하나의 실행 가능한 산출물로 압축할 수 있다. 사용자는 진전을 얻지만, 드러내는 데 상당한 작업이 필요할 수 있는 가정도 함께 떠안게 된다.
분석 리더에게 이는 생산성의 정의를 바꾼다. 코드 생성 중 절약된 시간은 더 넓은 검토 프로세스 안에서만 가치가 있다. 검토자가 이후에 방법을 재구성해야 한다면 그 이점의 일부는 사라진다.
이 압박은 도메인 전문가에게도 미친다. 절차가 맥락만으로 답을 결정할 수 없는 지점에서는 이들의 전문성이 필요해진다. 조직은 어떤 질문이 이들의 주의를 받아야 하는지, 어떤 검사는 소프트웨어가 자동으로 수행해야 하는지를 결정해야 한다.
그렇다고 전문가가 코드의 모든 줄을 승인해야 하는 것은 아니다. 기계적인 구현과 실질적인 판단 사이에 더 명확한 경계가 필요하다는 뜻이다. 그 경계는 에이전트의 실행 능력이 아니라 의사결정의 결과를 반영해야 한다.
엔터프라이즈 구매자도 관련된 조달 문제에 직면한다. 데모는 보조자가 작업을 완료하는 모습을 보여줄 수 있다. 하지만 결과를 승인하고, 재현하고, 이견을 설명하는 데 필요한 노력은 훨씬 덜 드러낼 수 있다.
더 나은 구매 논의는 생성된 결과물과 함께 검토 부담을 살펴봐야 한다. 구매자는 에이전트가 모호성에 부딪혔을 때 분석가가 무엇을 받는지 물어야 한다. 또한 워크플로가 완료를 주장할 때 검토자가 무엇을 받는지도 살펴봐야 한다.
이런 질문은 범용 코딩 보조자에도 압박을 만든다. 전문 절차가 숨겨진 가정을 줄인다면 일반 시스템은 신뢰할 만한 대응책이 필요하다. 그 대응에는 더 나은 절차 지원, 더 명확한 에스컬레이션 또는 승인된 도구와의 더 강력한 통합이 포함될 수 있다.
따라서 즉각적인 경쟁은 분석 업무에 대한 접근법 사이에서 벌어진다. 한 접근법은 완성된 산출물을 주된 결과물로 본다. 다른 접근법은 산출물, 그 방법, 의사결정 이력을 연결된 결과로 본다.
엔터프라이즈 에이전트를 구축하는 개발자에게 이는 인터페이스 설계의 중요성을 높인다. 승인 요청은 해결되지 않은 결정과 그 결과를 식별해야 한다. 모호한 질문으로 사용자를 단순히 중단시키는 것은 혼란을 해소하는 대신 전가할 뿐이다.
같은 원칙은 완료 메시지에도 적용된다. 유용한 인계는 무엇이 실행됐는지, 무엇을 확인했는지, 무엇이 여전히 해석을 필요로 하는지를 구분한다. 그러면 이를 받는 팀은 업무를 수용할 때 더 현실적인 근거를 갖게 된다.
코호트 구축은 에이전트가 멈춰야 할 지점을 보여준다
가장 명확한 메커니즘은 모호한 요청을 해석하는 단계와 분석 정의를 확정하는 단계 사이에 의도적으로 멈추는 것이다.
공개된 cohort builder procedure는 구축 전에 미리보기를 제공한다고 설명한다. 모호한 임계값과 코딩된 기록을 임상 메모와 결합하는 방식에 대한 선택지를 제시한다. 사용자는 워크플로가 결과 집단을 구축하고 검증하기 전에 이 옵션을 선택한다.
이 설계는 중요한 순간에 에이전트의 역할을 바꾼다. 불확실성을 자율적으로 메워야 할 공백으로 다루는 대신, 드러내야 할 의사결정으로 다룬다.
두 접근법 모두 환자 목록을 만들 수 있기 때문에 그 차이는 놓치기 쉽다. 누군가 왜 해당 환자들이 자격을 얻었는지 묻는 순간 차이가 드러난다. 방어 가능한 답변에는 실행 후 발견된 그럴듯한 해석이 아니라 합의된 정의가 필요하다.
분석가가 구조화된 기록과 서술형 메모를 모두 사용해 연구 대상 집단을 요청한다고 상상해 보자. 구조화된 기록은 정보를 미리 정의된 필드로 정리한다. 서술형 메모는 일반 언어로 관찰을 표현하므로 의미와 맥락에 관한 모호성을 유발할 수 있다.
분석가는 이 두 출처가 어떻게 상호작용해야 하는지 결정해야 한다. 어느 한 출처에 나타나는 환자로 구성된 집단은 두 출처 모두에 나타나는 환자로 구성된 집단과 다르다. 에이전트가 코드를 생성하는 과정에서 선택했다는 이유만으로 어느 선택도 권위를 가져서는 안 된다.
미리보기는 후속 작업이 시작되기 전에 이 선택을 보이게 한다. 또한 제안된 집단이 의도한 연구 질문과 맞지 않는다는 점을 알아차릴 기회도 만든다.
이 지점에서 Genie Code healthcare skills는 유익한 제품 패턴을 제시한다. 그 의미는 분석가가 종속된 작업을 다시 구축하지 않고도 정의를 변경할 수 있는 더 이른 시점으로 일부 판단 지점을 옮기는 데 있다.
그러나 사용자가 옵션을 이해할 때만 멈춤은 유용하다. 결과를 설명하지 않은 채 기술 설정을 제시하는 보조자는 여전히 의사결정을 불투명하게 만든다. 인터페이스는 각 옵션을 분석에 미치는 효과와 연결해야 한다.
이 절차는 합의와 검증도 구분한다. 정의에 합의하는 것은 의도를 확립한다. 결과가 그 정의와 일치하는지 확인하는 것은 구현이 의도를 따랐는지 확립한다. 두 책임은 관련돼 있지만 어느 하나도 다른 하나를 대체하지는 않는다.
올바르게 구현된 정의라도 질문에 부적절할 수 있다. 반대로 합리적인 정의도 잘못 구현될 수 있다. 검토는 이 두 구분을 모두 유지해야 한다.
엔지니어링 팀에는 이는 구체적인 아키텍처 교훈을 제시한다. 영향이 큰 결정에는 식별 가능한 입력과 출력이 있어야 한다. 그러한 결정이 긴 대화 속에 사라지면 이후의 검토는 대화를 재구성하는 일에 의존하게 된다.
더 폭넓은 지식 관리와의 연결도 마찬가지로 실용적이다. 인력, 프로젝트, 도구가 바뀌어도 팀은 승인된 방법을 계속 발견할 수 있어야 한다. 검색 가능한 지식 기반은 통제된 분석 시스템을 대체하지 않으면서 이러한 문서화 작업을 지원할 수 있다.
remio 같은 도구와의 관련 연결점은 방법론적 기억이다. 팀은 설명, 검토 메모, 승인된 결정을 보존해야 한다. 민감한 임상 처리는 그에 적합한 환경과 통제를 별도로 필요로 한다.
이 메커니즘은 조직에 유용한 실패 관련 질문도 제시한다. 사용자가 선택을 거부하면 어떻게 되는가? 책임 있는 워크플로는 해결되지 않은 상태를 보이게 해야 한다. 세련된 결과물이 기초 정의가 여전히 미확정이라는 사실을 절대 감춰서는 안 된다.
재사용 가능한 Skills는 경쟁을 운영 맥락으로 옮긴다
재사용 가능한 절차는 도메인 지식의 이식성을 높이지만, 실제 경험의 상당 부분은 여전히 실행 환경이 결정한다.
Anthropic의 Agent Skills architecture는 에이전트가 필요할 때 불러오는 체계화된 지침, 스크립트, 리소스를 설명한다. 이 접근 방식은 관련 있는 비교 기준을 제공한다. 전문성은 모든 작업마다 별도의 에이전트를 두는 방식뿐 아니라, 패키지화된 절차 지식에서도 일부 비롯된다.
Databricks는 데이터 플랫폼 안에서 같은 큰 개념을 적용한다. 경쟁의 핵심 질문은 이러한 절차 지식이 조직의 데이터, 권한, 실행 도구, 검토 프로세스와 어디에서 만나는가이다.
이미 특정 플랫폼을 사용하는 팀이라면 근접성이 중요할 수 있다. 시스템 간 전환이 줄어들면 책임 소재를 더 쉽게 이해할 수 있다. 다만 이러한 장점은 통합 워크플로가 작업의 실제 요구사항을 지원하는지에 달려 있다.
여러 환경에서 운영하는 팀에게는 이식성이 더 중요해진다. 모든 대상 환경에서 상당한 재구성이 필요하다면 재사용 가능한 절차가 제공하는 편의성은 제한적이다. 구매자는 이식 가능한 지침과 이식 가능한 실행을 구분해야 한다.
지침 패키지는 워크플로를 명확하게 설명할 수 있지만, 플랫폼별 서비스에 의존할 수도 있다. 텍스트를 옮긴다고 해서 이러한 의존성까지 자동으로 이동하는 것은 아니다. 이는 skills 접근 방식의 모순이 아니라 실무적 한계다.
Databricks는 중앙 집중식 검색 및 거버넌스 기능인 Unity Gateway를 통해 governed agent skills를 문서화한다. 문서는 이 기능을 베타로 표기하며, 권한 및 자산 관리 시스템인 Unity Catalog를 통해 관리되는 skills를 설명한다.
이는 조직 차원의 재사용이 자체적인 관리 문제를 만들기 때문에 중요하다. 유용한 절차는 소유자가 현지 변경 사항을 추적할 수 있는 속도보다 더 빠르게 확산될 수 있다. 중앙 거버넌스는 접근을 통제하는 방안을 제공하지만, 조직에는 여전히 콘텐츠 검토 정책이 필요하다.
절차 사용 권한과 그 방법에 대한 신뢰는 구분해야 한다. 권한은 누가 자산에 접근할 수 있는지를 정한다. 방법론적 검토는 해당 자산이 특정 목적에 적합한지를 판단한다.
이러한 구분은 배포 결정을 이끌어야 한다. 승인된 skill도 부적절한 맥락에서 사용될 수 있다. 권한 시스템은 데이터 품질, 연구 설계, 해석에 관한 모든 질문을 해결할 수 없다.
따라서 새롭게 형성되는 경쟁 압력은 모델 순위를 넘어선다. 공급업체는 절차가 어떻게 발견되고, 선택되고, 업데이트되며, 폐기되는지를 설명해야 한다. 또한 사용자가 지침 패키지가 적합하지 않은 경우를 어떻게 파악하는지도 보여줘야 한다.
이는 전문 플랫폼에 맥락 측면의 잠재적 이점을 제공한다. 동시에 일반 코딩 어시스턴트에는 유연성을 통한 기회를 제공한다. 비교 가능한 근거 없이는 어느 쪽도 의료 워크플로 전반에서의 우월성을 입증하지 못한다.
가장 유용한 비교는 작업과 수용 기준을 일정하게 유지하는 방식이다. 그러면 구매자는 분석가의 노력, 해결되지 않은 가정, 검토 품질의 차이를 살필 수 있다. 관련 없는 데모를 비교하면 얻을 수 있는 정보는 훨씬 적다.
개발자에게 실질적인 의미는 통합 품질이 에이전트 품질의 일부가 된다는 점이다. 조직 맥락이 불완전한 상태에서 작동하는 유능한 모델도 피할 수 있는 실수를 할 수 있다. 신중하게 통합된 절차는 모든 추론 문제를 해결하지는 못해도 일부 누락을 보완할 수 있다.
Genie Code healthcare skills는 운영상 유용성을 둘러싼 이 더 넓은 경쟁에 속한다. 그 가치는 조직이 승인하고, 반복하며, 유지할 수 있도록 돕는 작업에 달려 있다.
평가는 임상적 준비 상태보다 더 좁은 주장을 뒷받침한다
보고된 결과는 도메인 절차의 테스트를 뒷받침하지만, 일반화와 실제 사용에 관한 중요한 질문은 남긴다.
Databricks는 지원되는 BiomniBench 작업의 평균 점수가 세 번의 시험에서 100점 만점에 71.9점에서 76.9점으로 향상되었다고 보고한다. BiomniBench는 생의학 연구 워크플로를 평가한다. 발표문은 skills 범위에 속하는 다섯 개 작업과 AI 심사위원에 의한 채점을 설명한다.
이러한 세부 사항은 결과에 유용한 경계를 설정한다. 지원되는 작업에서의 더 높은 평균 점수는 평가된 해당 워크플로에 관한 근거다. 이는 모든 의료 분석에서 동등한 개선을 입증하지는 않는다.
이 비교는 환자 결과와도 분리되어야 한다. 벤치마크 점수는 평가 설계 하의 성능을 측정한다. 배포가 진료를 개선하는지, 조직 위험을 줄이는지, 시간이 지나며 연구 품질을 바꾸는지를 직접 측정하지는 않는다.
이는 결과를 일축할 이유가 아니다. 더 정확한 질문을 해야 할 이유다. 어떤 오류의 빈도가 줄었으며, 그러한 오류는 조직 자체의 실패 양상과 얼마나 유사한가?
독립 연구는 관련된 주의를 제시한다. Tingxu Han과 동료들의 skills benchmark study는 98개의 소프트웨어 엔지니어링 skills 중 92개에서 통계적으로 유의미한 효과가 없었다고 밝혔다. 이 프리프린트는 도움이 되는 절차와, 지침이 에이전트를 작업 요구사항에서 벗어나게 한 유해한 템플릿 앵커링도 확인했다.
이 연구는 서로 다른 작업을 평가하며 Vital Skills를 테스트하지 않는다. 관련성은 방법론에 있다. 지침을 추가하는 것만으로 개선의 근거가 되지는 않는다. 각 절차에는 의도된 용도에 맞는 평가가 필요하다.
이 결과는 좋은 skill에 무엇이 포함되는지에 관한 질문도 선명하게 한다. 익숙한 조언을 반복하는 지침은 별다른 가치를 더하지 못할 수 있다. 그렇지 않으면 누락될 요구사항을 보존하는 지침은 실질적 가치로 이어지는 더 분명한 경로를 갖는다.
절차에 대한 자신감이 적용 가능성을 넘어설 때에는 그에 상응하는 위험도 있다. skill은 에이전트를 더 일관되게 만들 수 있지만, 잘못된 템플릿으로 이끌 수도 있다. 일관성은 기저 방법이 작업에 맞을 때에만 가치가 있다.
Databricks의 Vital Skills repository는 검증 및 컴플라이언스 의무를 사용자에게 명시적으로 남긴다. 또한 솔루션만으로 규제 준수가 보장되지는 않는다고 밝힌다. 이 단서는 제품이 의도한 이점과 함께 고려되어야 한다.
구매자에게 시사하는 바는 단순히 기술적인 문제가 아니라 조직적인 문제다. 누군가는 수용 기준을 책임져야 한다. 누군가는 결과가 후속 사용에 적합한지 판단해야 한다. skill 설치가 이러한 책임을 자동으로 부여하지는 않는다.
평가는 실패의 가시성도 살펴봐야 한다. 불확실성을 명확히 보고하는 워크플로는 검토자에게 개입할 기회를 준다. 누락된 근거에도 그럴듯한 답변을 생성하는 워크플로는 다른 위험 프로필을 만든다.
인간 검토는 또 다른 변수를 도입한다. 절차가 사용자에게 모호한 선택을 승인하도록 요구한다면, 성능은 그 선택의 품질에도 일부 좌우된다. 에이전트만 평가하면 결합된 시스템의 행동을 놓칠 수 있다.
장기 유지보수도 같은 이유로 중요하다. 현지 데이터가 변경되면 승인된 절차도 수정이 필요할 수 있다. 조직은 지침, 실행, 데이터 또는 인간 해석 때문에 발생한 실패를 구분할 방법이 필요하다.
따라서 Databricks Vital Skills를 해석하는 적절한 방식은 구체적이다. 회사는 표적화된 지침이 선택된 작업을 개선했다는 근거를 제시했다. 결과가 중요한 워크플로에 들어갈 때는 특히 더 폭넓은 주장을 위해 더 폭넓은 테스트가 필요하다.
재현, 현지 도입, 절차 업데이트를 주시하라
다음 근거는 절차적 개선이 서로 다른 사용자, 서로 다른 데이터, 지속적인 유지보수 환경에서도 유지되는지를 보여줘야 한다.
첫 번째로 살펴볼 신호는 독립적 재현이다. 평가자는 작업 요구사항을 일관되게 유지하면서 관련 skills의 유무에 따른 워크플로를 비교해야 한다. 개선과 실패를 모두 설명할 수 있을 만큼 충분한 세부 사항도 공개해야 한다.
회사의 평가 외부에서도 비슷한 이점이 재현된다면 근거는 더 강해질 것이다. 결과가 좁은 사례에 크게 의존한다면 주장의 범위는 제한된다. 어느 결과이든 구매자가 이 접근 방식이 적합한 위치를 이해하는 데 도움이 된다.
가장 유익한 재현은 집계 점수뿐 아니라 행동을 검토하는 방식일 것이다. 어시스턴트는 해결되지 않은 정의를 드러냈는가? 사용자의 선택을 따랐는가? 최종 산출물은 다른 분석가가 검토할 수 있을 만큼 충분한 근거를 보존했는가?
두 번째 신호는 현지 워크플로에서 문서화된 도입이다. 조직은 분석가와 검토자의 작업에서 무엇이 바뀌었는지 보고해야 한다. 수용을 위해 여전히 광범위한 재구성이 필요하다면 더 빠른 초안 작성은 중요성이 떨어진다.
유용한 도입 근거는 생성된 산출물을 승인 프로세스와 연결할 것이다. 어떤 검증이 수동으로 남았는지, 어떤 누락이 줄었는지, 어디에서 전문가가 계속 개입했는지를 설명할 것이다. 이는 skills가 더 넓은 워크플로를 개선하는지 보여줄 것이다.
검토 노력이 단지 다른 곳으로 이동했다면 이 신호는 상업적 근거를 약화할 것이다. 팀이 피할 수 있는 작업을 줄이면서 승인된 분석을 설명하고 재현할 수 있다면 근거는 강화될 것이다.
세 번째 신호는 절차 업데이트의 품질이다. 증가하는 카탈로그는 재사용 기회를 늘리지만, 오래되었거나 서로 겹치는 지침의 기회도 늘린다. 유지보수는 어떤 절차가 적용되는지에 대한 명확성을 보존해야 한다.
변경 사항은 적절한 재평가도 촉발해야 한다. 수정 전에는 잘 수행되던 절차가 자동으로 신뢰를 이어받아서는 안 된다. 실행 도구나 기저 데이터 가정이 바뀔 때도 같은 원칙이 적용된다.
앞으로 몇 달 동안 이러한 신호는 카탈로그 규모만으로는 얻을 수 없는 더 유익한 정보를 제공할 것이다. 더 많은 사용 가능한 skills는 적용 범위를 넓힌다. 반복 가능한 이점의 근거는 그 적용 범위가 유용한지 입증한다.
개발자에게 즉각적인 기회는 에이전트가 현재 암묵적으로 내리는 결정을 식별하는 데 있다. 이러한 결정은 명시적 절차, 승인 지점, 검증을 위한 구체적인 후보가 된다. 관찰 가능한 누락에서 시작하면 평가의 목표가 더 분명해진다.
엔터프라이즈 구매자에게 즉각적인 과제는 수용 가능한 인계가 어떤 모습인지 정의하는 것이다. 그 정의에는 결과, 승인된 방법, 해결되지 않은 한계, 검토에 필요한 근거가 포함되어야 한다.
Databricks Vital Skills를 도입하기 전에 대표적인 워크플로를 선택하고 검토자가 일반적으로 다시 찾아내야 하는 가정을 식별하라. skill이 실행 전에 그러한 가정을 드러내고, 이후 선택된 방법을 보존하는지 비교하라. 수용 기준을 정할 때 도메인 전문가를 포함하고, 그들의 개입이 여전히 필요한 지점을 기록하라. 생성된 코드와 함께 설명과 해결되지 않은 질문을 포함한 전체 인계를 평가하라. 실패를 이해할 수 있을 만큼 초기 범위를 좁게 유지하라. 절차나 데이터 가정이 바뀔 때 비교를 반복하라. 유용한 결과는 팀이 명확한 책임 아래 검토하고, 재현하고, 수용할 수 있는 분석이다. 현재 워크플로에서 에이전트가 진행하기 전에 명시화하면 가장 큰 이점을 얻을 결정은 무엇인가?
